[논문 리뷰] Learning to Imitate Object Interactions from Internet Videos

Austin Patel, Andrew Wang외 2명|arXiv (Cornell University)|2022. 11. 23.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 인터넷 영상에서 2D 이미지 신호와 시간적 부드러움 제약 조건을 이용하여 4차원 손-물체 궤적을 재구성하는 최적화 기반의 새로운 방법인 RHOV를 제안한다. 이 방법은 강화학습을 통해 물리 시뮬레이터에서 다양한 물체 상호작용을 모방할 수 있게 하며, 인간과 유사한 종말부가 없는 표준 로봇 암과 그립퍼를 사용하여도 성공적인 로봇 모방을 달성한다.

ABSTRACT

We study the problem of imitating object interactions from Internet videos. This requires understanding the hand-object interactions in 4D, spatially in 3D and over time, which is challenging due to mutual hand-object occlusions. In this paper we make two main contributions: (1) a novel reconstruction technique RHOV (Reconstructing Hands and Objects from Videos), which reconstructs 4D trajectories of both the hand and the object using 2D image cues and temporal smoothness constraints; (2) a system for imitating object interactions in a physics simulator with reinforcement learning. We apply our reconstruction technique to 100 challenging Internet videos. We further show that we can successfully imitate a range of different object interactions in a physics simulator. Our object-centric approach is not limited to human-like end-effectors and can learn to imitate object interactions using different embodiments, like a robotic arm with a parallel jaw gripper.

연구 동기 및 목표

• 제약 없는 인터넷 영상에서 로봇이 물체 상호작용을 학습할 수 있도록 하여, 이는 풍부하고 현실적인 자료이지만 음영과 레이블 부족으로 인해 도전적인 자료임.
• 서로 상호 음영이 발생하는 영상에서 3차원 공간 + 시간의 4차원 재구성 문제를 해결하며, 기존 방법이 실패하는 상황을 다룸.
• 궤적을 재구성하는 것 외에도 강화학습을 통해 물리 시뮬레이터에서 성공적으로 모방할 수 있는 시스템을 개발함.
• 인간의 손 관절 운동학을 고려하지 않고 물체 중심 운동에 중점을 두어, 평행 쐐기 그립퍼를 갖춘 로봇 암과 같은 비인간형 몸체 구조로도 모방을 가능하게 함.

제안 방법

• RHOV는 세 단계로 4차원 손과 물체 궤적을 재구성한다: 2D 손 관절 키포인트 및 마스크 추정, 2D 마스크와 깊이 제약 조건을 통한 미분 가능 렌더링, 3D 및 2D 광학 흐름 부드러움을 이용한 시간 최적화.
• 사전 훈련된 인스턴스 세그멘테이션(PointRend)을 활용하여 2D 물체 마스크를 생성하고, 미분 가능 렌더링을 통해 2D 지도 신호에서 3D 물체 자세를 최적화함.
• 시간적 부드러움은 광학 흐름과 3D 궤적 정규화를 통해 강제로 구현하여 프레임 간 진동을 줄이고 대칭성에 의한 모호함을 해결함.
• 재구성된 4차원 궤적에서 위치, 회전, 속도 차이를 포함하는 밀도 높은 보상 함수를 구성하여 정책 훈련을 안내함.
• 프랭카 로봇 암을 사용한 물리 시뮬레이터에서 재구성된 물체 궤적을 따라가도록 강화학습 정책을 훈련시키며, 보상 설계의 타당성을 검증하기 위해 분석 실험을 실시함.
• 물체 중심 접근 방식을 취해, 인간과 유사한 종말부가 없는 다양한 로봇 형태로의 전이가 가능함.

실험 결과

연구 질문

• RQ1 서로 상호 음영이 발생하고 지도 신호가 제한된 제약 없는 인터넷 영상에서 4차원 손-물체 궤적을 정확하게 재구성할 수 있는가?
• RQ2 오직 2D 신호와 부드러움 제약 조건만을 사용할 때, 시간적 일관성과 기하학적 타당성을 어떻게 확보할 수 있는가?
• RQ3 인터넷 영상에서 재구성된 4차원 궤적이 강화학습을 통해 물리 시뮬레이터에서 로봇에 의해 성공적으로 모방될 수 있는가?
• RQ4 독립적인 물체 재구성 대비 손-물체 공동 재구성은 물체 궤적 정확도에 얼마나 기여하는가?
• RQ5 모방 보상 함수의 다양한 구성 요소(예: 회전, 속도, 위치)는 로봇 정책 학습 성공에 어떤 영향을 미치는가?

주요 결과

• RHOV는 100 Days of Hands 데이터셋의 100개 유튜브 영상에서 4차원 궤적을 성공적으로 재구성하여 실제 영상의 다양성에 대한 강건성을 입증함.
• 시간 최적화로 물체 궤적의 진동이 감소하고 대칭성에 기인한 자세 뒤집힘 문제를 해결하여 재구성 안정성이 향상됨.
• 오라클 2D 마스크를 사용할 경우 물체 재구성 오차가 13.0mm에서 9.3mm로 감소하여, 2D 세그멘테이션 품질이 3D 재구성에 큰 영향을 미침을 시사함.
• 독립 최적화 대비 손-물체 공동 재구성은 물체 정확도를 1.6mm 향상시켜(14.6 vs. 13.0mm) 손 모델링이 물체 복구에 기여함을 입증함.
• 밀도 높은 보상 함수의 구성 요소 중 하나를 제거하면(예: 회전 손실) 모방 성공률가 급격히 감소하였으며, 특히 회전 손실 제거 시 성공률가 0%로 떨어짐.
• 평행 쐐기 그립퍼를 장착한 7-DoF 프랭카 암을 사용하여 물체 궤적 모방 성공률가 79.3%를 기록하여, 비인간형 몸체로의 일반화 능력이 효과적으로 입증됨.