[논문 리뷰] Learning Social Affordance Grammar from Videos: Transferring Human Interactions to Human-Robot Interactions

Tianmin Shu, Xiaofeng Gao외 2명|arXiv (Cornell University)|2017. 03. 01.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 인간 상호작용의 RGB-D 영상에서 약한 지도 학습을 통해 시공간 AND-OR 그래프(Spatiotemporal AND-OR Graph, ST-AOG)로 사회적 가능성 문법을 학습하는 프레임워크를 제안한다. 이를 통해 인간-로봇 상호작용(HRI)에서 실시간 운동 추론이 가능해지며, Gibbs 샘플링을 활용해 계층적이고 장기적인 공동 작업 하위 작업과 단기적인 원자적 동작을 학습한다. 이는 기존의 기준 대비 더 높은 현실성과 적응성을 갖춘 새로운 시나리오에서도 인간과 유사한 행동을 로봇 Baxter에 성공적으로 전이시킨다.

ABSTRACT

In this paper, we present a general framework for learning social affordance grammar as a spatiotemporal AND-OR graph (ST-AOG) from RGB-D videos of human interactions, and transfer the grammar to humanoids to enable a real-time motion inference for human-robot interaction (HRI). Based on Gibbs sampling, our weakly supervised grammar learning can automatically construct a hierarchical representation of an interaction with long-term joint sub-tasks of both agents and short term atomic actions of individual agents. Based on a new RGB-D video dataset with rich instances of human interactions, our experiments of Baxter simulation, human evaluation, and real Baxter test demonstrate that the model learned from limited training data successfully generates human-like behaviors in unseen scenarios and outperforms both baselines.

연구 동기 및 목표

• 자연스러운 인간-로봇 상호작용을 지원하기 위해 인간 상호작용 영상에서 일반적인 프레임워크를 개발하는 것.
• 로봇 작업 계획에서 사회적 규범 모델링의 부족을 해결하기 위해 사회적 예절, 협업 및 도움 행동을 인코딩하는 것.
• 학습된 문법을 새로운 상호작용 시나리오에 적용하여 인간형 로봇의 실시간 운동 추론을 가능하게 하는 것.
• 장기적인 공동 하위 목표와 단기적인 개별 행동을 모두 모델링하여 로봇 행동의 현실성과 적응성을 향상시키는 것.
• 이전 연구에서 뚜렷한 구조적 표현에 의존하거나 새로운 상황으로의 일반화에 실패하는 한계를 극복하는 것.

제안 방법

• 사회적 가능성을 시공간 AND-OR 그래프(ST-AOG)로 표현하여 계층적 하위 작업과 세밀한 운동 기반(예: 제스처, 향하는 방향)을 인코딩하는 것.
• RGB-D 영상에서 추출한 노이즈가 있는 인간 뼈대 데이터로부터 약한 지도 학습을 위해 Gibbs 샘플링을 사용하여 종단 간 문법 구축을 가능하게 하는 것.
• 시간적 및 공간적 제약 조건을 갖춘 공동 하위 작업(예: 손을 잡는 것)과 개별 원자적 동작(예: 팔을 들어 올리는 것)을 통해 상호작용을 모델링하는 것.
• 학습된 ST-AOG에서 파싱 그래프를 샘플링하여 5 fps에서 인간과 유사한 로봇 운동을 생성함으로써 실시간 운동 추론을 구현하는 것.
• 현장 구동 시 Kinect 뼈대 노이즈를 보완하기 위해 로봇 손에 압력 센서를 통합하여 손 잡기 관계를 탐지하는 것.
• 직접 매핑과 역기구학을 통해 인간 관절 각도를 Baxter 로봇의 운동학 구조에 매핑하여 구조적 차이가 있는 상황에서도 운동 전이를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 비정형적인 RGB-D 영상에서 인간 상호작용의 약한 지도 학습을 통해 사회적 가능성 문법을 어떻게 학습할 수 있는가?
• RQ2 계층적인 시공간 문법(ST-AOG)이 인간 상호작용에서 장기적인 공동 하위 목표와 단기적인 개별 행동을 효과적으로 표현할 수 있는가?
• RQ3 학습된 문법이 새로운 상호작용 시나리오로 일반화되어 얼마나 현실적인 로봇 행동을 가능하게 하는가?
• RQ4 ST-AOG 기반 실시간 운동 추론이 기준 대비 운동의 현실성과 작업 성공률 측면에서 어떻게 성능을 발휘하는가?
• RQ5 센서 융합(예: 압력 센서)이 실생활 HRI에서 노이즈가 많은 뼈대 추적에 대해 얼마나 강건성을 향상시키는가?

주요 결과

• 제안된 방법은 기준 대비 로봇과 실제 인간 뼈대 간 평균 관절 각도 차이가 유의미하게 낮아, 더 인간다운 팔 제스처를 구현했다.
• 사람 평가 결과, 기준 대비 평균 점수(질문 1: 4.3, 질문 2: 4.2)가 높고 표준편차가 낮아 일관되고 자연스러운 행동을 보였다.
• 로봇은 훈련 데이터에서의 자세(예: 앉아 있는 자세 대비 서 있는 자세)와 다를 경우에도 하이파이브와 손건네기와 같은 상호작용을 성공적으로 수행했다.
• 실시간 운동 추론 시스템은 5 fps에서 실행되어 온라인 상호작용이 가능했으며, 기준 B2는 계획에 10초 이상 소요되어 오프라인 평가에만 사용되었다.
• 로봇 손에 압력 센서를 통합함으로써 손 잡기 관계 탐지 성능이 향상되어 Kinect 데이터의 노이즈에 대한 강건성이 향상되었다.
• ST-AOG 모델은 잠재적 하위 목표(예: 상호 손잡기)를 성공적으로 포착했으며, 새로운 시나리오에 대한 적응성을 보였고, 고정된 표현 방식과 단순 IK 기준 대비 뛰어난 성능을 보였다.