[논문 리뷰] Learning Human Activities and Object Affordances from RGB-D Videos

Hema Swetha Koppula, Rudhir Gupta외 1명|arXiv (Cornell University)|2012. 10. 04.

Human Pose and Action Recognition참고 문헌 68인용 수 5

한 줄 요약

이 논문은 RGB-D 영상에서 인간의 하위 활동과 물체의 기능 가능성을 추론하기 위해 마르코프 무작위장(MRF)과 구조적 서포트 벡터 머신(Structural SVM)을 결합한 공동 학습 프레임워크를 제안한다. 시간적 세분화를 잠재 변수로 모델링함으로써, 새로운 120개 영상으로 구성된 데이터셋에서 기능 가능성 정확도 79.4%, 하위 활동 정확도 63.4%, 고수준 활동 정확도 75.0%를 달성하였으며, 이를 통해 PR2 로봇이 유추된 기능 가능성을 활용해 보조 작업을 수행할 수 있게 되었다.

ABSTRACT

Understanding human activities and object affordances are two very important skills, especially for personal robots which operate in human environments. In this work, we consider the problem of extracting a descriptive labeling of the sequence of sub-activities being performed by a human, and more importantly, of their interactions with the objects in the form of associated affordances. Given a RGB-D video, we jointly model the human activities and object affordances as a Markov random field where the nodes represent objects and sub-activities, and the edges represent the relationships between object affordances, their relations with sub-activities, and their evolution over time. We formulate the learning problem using a structural support vector machine (SSVM) approach, where labelings over various alternate temporal segmentations are considered as latent variables. We tested our method on a challenging dataset comprising 120 activity videos collected from 4 subjects, and obtained an accuracy of 79.4% for affordance, 63.4% for sub-activity and 75.0% for high-level activity labeling. We then demonstrate the use of such descriptive labeling in performing assistive tasks by a PR2 robot.

연구 동기 및 목표

• 일상 환경에서 장기적인 복잡한 인간 활동을 이해할 수 있도록 개인용 로봇을 지원하는 것.
• RGB-D 영상 시퀀스로부터 하위 활동과 물체 기능 가능성(예: 부을 수 있는, 옮길 수 있는 등)을 공동으로 인식하는 것.
• 학습 과정에서 다중 세분화를 잠재 변수로 간주함으로써 시간적 세분화의 불확실성을 효과적으로 모델링하는 것.
• 관찰된 인간 행동으로부터 물체 사용 가능성을 유추함으로써 로봇 보조 기능을 향상시키는 것.
• 학습 중에 볼 수 없었던 고수준 활동과 실제 환경의 조작 작업으로의 유추 기능 가능성의 일반화를 입증하는 것.

제안 방법

• 하위 활동과 물체를 노드로, 상호작용과 시간적 변화를 간선으로 하는 마르코프 무작위장(MRF)으로 인간 활동 및 기능 가능성 인식 문제를 수식화한다.
• 모델 파라미터를 학습하기 위해 구조적 서포트 벡터 머신(SSVM)을 사용하며, 다중 시간적 세분화에 대한 레이블링을 잠재 변수로 간주한다.
• RGB-D 데이터를 활용하여 인간 자세와 물체 기하학을 안정적으로 추정함으로써 하위 활동과 기능 가능성의 신뢰성 있는 탐지가 가능해진다.
• 물체-물체 상호작용, 물체-하위 활동 관계, 시간적 동역학을 MRF 구조에 통합하여 맥락적 종속성을 모델링한다.
• 다중 세분화의 계산 복잡도를 처리하기 위해 샘플링 기반 근사 추론을 적용한다.
• 네 명의 주체로부터 수집한 120개 영상으로 구성된 새로운 데이터셋(CAD-120)을 사용해 모델을 검증하였으며, 유추된 기능 가능성을 활용한 로봇 작업 실행을 시연하였다.

실험 결과

연구 질문

• RQ1 하위 활동과 물체 기능 가능성을 공동으로 모델링하면 장기적인 인간 활동 인식 정확도가 향상되는가?
• RQ2 RGB-D 영상 이해에서 시간적 세분화의 불확실성은 어떻게 효과적으로 모델링할 수 있는가?
• RQ3 유추된 물체 기능 가능성이 보조 작업에서 더 의미 있는 로봇 조작을 가능하게 하는가?
• RQ4 학습 중에 볼 수 없었던 고수준 활동으로의 모델 일반화가 가능한가?
• RQ5 다중 관측 추론은 부을 수 있는 동작과 같은 복잡한 동작의 기능 가능성 탐지에 어떻게 기여하는가?

주요 결과

• CAD-120 데이터셋에서 새로운 주체에 대한 기능 가능성 예측 정확도가 79.4%를 달성하였다.
• 동일한 테스트 세트에서 하위 활동 인식 정확도는 63.4%에 도달하여 개인 간 변동성에 대한 강건성을 입증하였다.
• 고수준 활동 레이블링 정확도는 75.0%를 기록하여 복잡하고 다단계적인 활동의 효과적인 인식이 가능함을 보여주었다.
• 유추된 이동 가능한 기능 가능성을 사용할 경우, PR2 로봇의 물체 이동 작업 수행 정확도는 100%에 도달하였다.
• 액체를 기울이지 않는 제약 조건이 있는 이동 작업에서는, 다중 관측을 통해 기능 가능성을 유추함으로써 정확도가 80%에서 100%로 향상되었다.
• 모델의 일반화 능력이 뛰어나, 학습 중에 볼 수 없었던 두 가지 고수준 활동에서도 기능 가능성을 성공적으로 인식하고 조작을 가능하게 하였다.