[논문 리뷰] Watch-n-Patch: Unsupervised Learning of Actions and Relations

Chenxia Wu, Jiemi Zhang외 4명|arXiv (Cornell University)|2016. 03. 11.

Human Pose and Action Recognition참고 문헌 64인용 수 4

한 줄 요약

이 논문은 RGB-D 영상에서 고수준의 동작 및 물체 주제를 레이블 없이 학습하는 완전히 비지도 학습 확률 모델인 Watch-n-Patch를 제안한다. 이 모델은 인과적 주제 모델(CaTM)을 사용하여 동작 간 장거리 시간적 및 동시 발생 관계를 모델링하며, 비지도 동작 분할, 클러스터링, 그리고 새로운 응용 분야인 '행동 패치링'(action patching)을 가능하게 한다. 행동 패치링은 일상 활동에서 간과된 동작을 탐지하는 데 사용되며, 새로운 RGB-D 데이터셋에서 검증되었고, 실시간 알림을 제공하기 위해 로봇 시스템에 구현되었다.

ABSTRACT

There is a large variation in the activities that humans perform in their everyday lives. We consider modeling these composite human activities which comprises multiple basic level actions in a completely unsupervised setting. Our model learns high-level co-occurrence and temporal relations between the actions. We consider the video as a sequence of short-term action clips, which contains human-words and object-words. An activity is about a set of action-topics and object-topics indicating which actions are present and which objects are interacting with. We then propose a new probabilistic model relating the words and the topics. It allows us to model long-range action relations that commonly exist in the composite activities, which is challenging in previous works. We apply our model to the unsupervised action segmentation and clustering, and to a novel application that detects forgotten actions, which we call action patching. For evaluation, we contribute a new challenging RGB-D activity video dataset recorded by the new Kinect v2, which contains several human daily activities as compositions of multiple actions interacting with different objects. Moreover, we develop a robotic system that watches people and reminds people by applying our action patching algorithm. Our robotic setup can be easily deployed on any assistive robot.

연구 동기 및 목표

• 인간-애너테이션된 레이블이 전혀 없는 상태에서 복합 인간 활동을 기본 동작과 물체 상호작용의 시퀀스로 모델링하는 것.
• 이전 방법들이 단기적 모델링에 의존함에 따라 놓치기 쉬운 일상 활동에서의 동작 간 장거리 시간적 및 동시 발생 관계를 발견하는 것.
• 비지도 영상 이해를 통해 간과된 동작을 탐지하고 사용자에게 알리는 새로운 로봇 응용 프로그램인 '행동 패치링'을 개발하는 것.
• 비지도 활동 학습 및 평가를 지원하기 위한 새로운 도전적인 RGB-D 영상 데이터셋을 구축하는 것.
• 라벨이 없는 영상 데이터만을 사용하여 보조 로봇에 시스템을 구현하여 실세계에서 인간 지원을 제공하는 것.

제안 방법

• 각 영상을 단기 클립의 시퀀스로 표현하며, 인간 뼈대 궤적은 '인간-단어'로, 물체 궤적은 '물체-단어'로 간주한다.
• 행동 주제, 물체 주제 및 그 상관관계를 함께 모델링하는 인과적 주제 모델(CaTM)을 도입하여 장거리 행동 관계 모델링을 가능하게 한다.
• 행동 주제와 물체 주제의 동시 발생을 모델링하기 위해 상관 주제 사전 확률을 사용하여 '책을 가져오기'와 '책을 돌려놓기'처럼 강하게 연결된 의존성을 포착한다.
• 계층적 생성 모델링을 적용하여 인간-단어는 행동 주제에서, 물체-단어는 행동 주제 및 물체 주제 양쪽에서 추출된다.
• 후행 분포를 단어 동시 발생 및 시간적 맥락에 기반해 주제 할당에 대해 추론하기 위해 게이블스 샘플링을 사용한다.
• RGB-only 기반 모델 대비 행동 인식 성능 향상을 위해 RGB-D 특징, 즉 인간 뼈대 및 물체 궤적을 활용한다.

실험 결과

연구 질문

• RQ1 완전히 비지도 모델이 레이블이 없는 원시 RGB-D 영상에서 의미 있는 행동 및 물체 주제를 학습할 수 있는가?
• RQ2 복합 인간 활동에서 '책을 가져오기'와 '책을 돌려놓기'처럼 장기간 독서 단계로 분리된 동작 간 장거리 시간적 및 동시 발생 관계를 모델이 포착할 수 있는가?
• RQ3 단지 레이블이 없는 영상 시퀀스만을 제공받아도 실시간으로 간과된 동작을 탐지할 수 있는가?
• RQ4 기존 방법들과 비교해 볼 때 제안된 CaTM 모델이 비지도 행동 분할 및 클러스터링에서 얼마나 효과적인가?
• RQ5 학습된 모델을 실제 로봇에 구현하여 일상 루틴에서 간과된 행동에 대해 적시 알림을 제공할 수 있는가?

주요 결과

• 제안된 Watch-n-Patch 시스템은 레이블이 없는 RGB-D 영상에서의 비지도 학습만으로 일상 활동에서 간과된 행동을 성공적으로 탐지한다.
• CaTM 프레임워크를 통해 상관되는 행동 및 물체 주제를 학습함으로써 효과적인 비지도 행동 분할 및 클러스터링을 달성한다.
• 시스템은 Kinect v2로 촬영한 새로운 도전적인 RGB-D 데이터셋에서 검증되었으며, 장거리 의존성을 가진 복수의 복합 활동을 포함한다.
• 로봇 구현은 '책을 돌려놓기'나 '모니터 끄기'와 같은 누락된 행동을 성공적으로 탐지하고 레이저 스폟 포인터를 통해 사용자에게 알린다.
• 복잡한 일상 루틴에서 누락을 탐지하는 데 핵심적인 장거리 행동 관계 모델링에서 기존 기준 방법들을 능가한다.
• 실제 보조 로봇에 구현된 결과, 실세계 인간-로봇 상호작용 환경에서 이 방법의 실현 가능성과 실용성을 입증한다.