[논문 리뷰] Learning Social Affordance for Human-Robot Interaction

Tianmin Shu, Michael S. Ryoo외 1명|arXiv (Cornell University)|2016. 04. 13.

Human Pose and Action Recognition참고 문헌 28인용 수 20

한 줄 요약

이 논문은 RGB-D 영상에서 잡음이 있는 뼈대 데이터를 사용하여 마르코프 체인 몬테카를로(MCMC) 기반의 약한 지도 학습 생성 모델을 제안하며, 인간-로봇 상호작용을 위한 사회적 약용(affordance)을 학습한다. 이 모델은 잠재적인 하위 이벤트와 신체 관절의 기능적 군집을 발견하여, 로봇이 공간적 및 운동적 잠재력 간의 관계를 모델링함으로써 자연스럽고 맥락 인식 가능한 전신 운동을 추론하고 재현할 수 있도록 한다. 결과적으로, 노이즈가 있는 뼈대 데이터를 사용함에도 불구하고 Kinect 기반의 지상 진실(Ground Truth)과 유사한 수준의 합성 품질을 달성한다.

ABSTRACT

In this paper, we present an approach for robot learning of social affordance from human activity videos. We consider the problem in the context of human-robot interaction: Our approach learns structural representations of human-human (and human-object-human) interactions, describing how body-parts of each agent move with respect to each other and what spatial relations they should maintain to complete each sub-event (i.e., sub-goal). This enables the robot to infer its own movement in reaction to the human body motion, allowing it to naturally replicate such interactions. We introduce the representation of social affordance and propose a generative model for its weakly supervised learning from human demonstration videos. Our approach discovers critical steps (i.e., latent sub-events) in an interaction and the typical motion associated with them, learning what body-parts should be involved and how. The experimental results demonstrate that our Markov Chain Monte Carlo (MCMC) based learning algorithm automatically discovers semantically meaningful interactive affordance from RGB-D videos, which allows us to generate appropriate full body motion for an agent.

연구 동기 및 목표

• 로봇이 인간의 시연 영상에서 다중 에이전트 상호작용 내에서의 행동 가능성(약용)을 학습할 수 있도록 하는 것.
• 노이즈가 있는 뼈대 추정치가 존재함에도 불구하고 복잡한 시간적 동역학, 하위 이벤트 분해 및 관절 운동 패턴을 모델링하는 것.
• 강한 인간 레이블이 없는 약한 지도 학습 프레임워크를 개발하여 잠재적인 하위 이벤트와 기능적 관절 군집을 발견하는 것.
• 관찰된 인간 운동에 기반해 실시간으로 적절한 반응을 추론하고, 자연스럽고 맥락 인식 가능한 전신 운동 시퀀스를 합성하는 것.
• 로봇에 인간의 운동 표현을 전이하여, 에이전트 간의 공간적 및 운동적 잠재력 간의 관계를 학습함으로써 자연스러운 상호작용을 가능하게 하는 것.

제안 방법

• 이중 루프 MCMC 알고리즘을 사용: 외부 루프는 멜로리스-휴언드 샘플링을 통해 하위 이벤트의 시간적 파싱을 수행하고, 내부 루프는 수정된 중국 식당 프로세스(CRP)를 사용해 관절을 군집화한다.
• 각 하위 이벤트 내에서 군집화된 관절에 대한 공간적 및 운동적 잠재력을 학습하여 신체 부위 간의 상대적 이동 방식을 포착한다.
• 하위 이벤트 간의 관절 운동 패턴의 계층적 구조로 사회적 약용을 표현하며, 약용은 사회적으로 의미 있는 맥락에서만 활성화된다.
• 로봇을 다중 에이전트 상호작용의 하나의 에이전트로 간주하여, 관찰된 인간 운동에 기반해 자신의 운동을 추론할 수 있도록 한다.
• 학습된 약용 모델을 새로운 상황에 적용하여, 로봇 운동학 구조에 맞게 학습된 관절 궤적을 매칭함으로써 미래의 뼈대 시퀀스를 합성한다.
• 시간적 및 공간적 제약 조건을 적용하여, 가림 및 노이즈에 대한 강건성을 향상시키기 위해 RGB-D 영상 데이터와 추정 뼈대를 사용한다.

실험 결과

연구 질문

• RQ1 로봇은 비정형적인 인간 상호작용 영상에서 어떻게 사회적으로 의미 있는 행동 가능성(약용)을 학습할 수 있는가?
• RQ2 다이나믹한 관절 수준의 협동과 하위 이벤트 분해를 포함한 다중 에이전트 상호작용을 모델링하기 위해 어떤 구조적 표현이 필요한가?
• RQ3 약한 지도 학습 접근법을 통해 노이즈가 많고 제한된 인간 시연 데이터로부터 잠재적인 하위 이벤트와 기능적 관절 군집을 어떻게 발견할 수 있는가?
• RQ4 학습된 사회적 약용이 지상 진실 인간 운동과 시각적으로 구분되지 않는 수준의 운동 시퀀스를 얼마나 잘 생성할 수 있는가?
• RQ5 로봇은 학습된 약용 표현에 기반해 인간 운동에 대해 실시간으로 적절한 반응을 추론하고 실행할 수 있는가?

주요 결과

• MCMC 기반 학습 알고리즘이 노이즈가 있는 뼈대가 포함된 RGB-D 영상에서 의미 있는 하위 이벤트와 기능적 관절 군집을 성공적으로 발견하였다.
• 합성된 운동 시퀀스는 인간 평가에서 Kinect 기반 지상 진실과 유사한 평가를 받았으며, Q1 및 Q2에서 손잡기와 던지기/잡기 동작의 경우 지상 진실보다 높은 평균 점수를 기록하였다.
• Q1에서 손잡기 동작의 경우 87%의 평가가 4점 이상이었고, 던지기/잡기 동작의 경우 84%의 평가가 4점 이상이었으며, 이는 높은 시각적 품질을 의미한다.
• 학습된 관절 군집 덕분에 손 대기 정확도에서 지상 진실을 초월하였으며, 특히 Kinect가 접촉을 포착하지 못하는 가림 상황에서 뚜렷한 성능 향상을 보였다.
• 대부분의 상호작용에서 90% 신뢰수준에서 지상 진실과 유의미한 차이가 없음을 확인한 등가성 검정을 통해 일반화 성능가 뛰어났다.
• 이 방법은 노이즈에 강건하며, 인간이 자연스러운 상호작용을 인식하는 데 핵심적인 사회적 신호인 손 접촉을 잘 포착하여, 자연스러운 상호작용을 가능하게 한다.