[논문 리뷰] Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos

Haoyu Xiong, Quanzhou Li외 4명|arXiv (Cornell University)|2021. 01. 18.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 학습을 위한 관찰(LbW)을 제안하며, 비지도 학습적 인간-로봇 이미지 번역과 관절점 검출을 통해 인간 영상의 모방을 통해 로봇이 조작 기술을 학습할 수 있도록 하는 프레임워크이다. 번역된 로봇 영상에서 의미 있는 관절점 기반 표현을 생성함으로써, LbW는 단일 인간 시연만으로 다섯 가지 조작 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Learning from visual data opens the potential to accrue a large range of manipulation behaviors by leveraging human demonstrations without specifying each of them mathematically, but rather through natural task specification. In this paper, we present Learning by Watching (LbW), an algorithmic framework for policy learning through imitation from a single video specifying the task. The key insights of our method are two-fold. First, since the human arms may not have the same morphology as robot arms, our framework learns unsupervised human to robot translation to overcome the morphology mismatch issue. Second, to capture the details in salient regions that are crucial for learning state representations, our model performs unsupervised keypoint detection on the translated robot videos. The detected keypoints form a structured representation that contains semantically meaningful information and can be used directly for computing reward and policy learning. We evaluate the effectiveness of our LbW framework on five robot manipulation tasks, including reaching, pushing, sliding, coffee making, and drawer closing. Extensive experimental evaluations demonstrate that our method performs favorably against the state-of-the-art approaches.

연구 동기 및 목표

• 전문가 행동 애너테이션을 필요로 하지 않고 단일 인간 영상에서 물리적 모방을 가능하게 하기 위해.
• 비지도 학습적 인간-로봇 이미지 번역을 통해 인간과 로봇 팔의 형태적 불일치 문제를 해결하기 위해.
• 번역된 로봇 영상 프레임에서 의미 있는 관절점을 검출하여 상태 표현 학습을 향상시키기 위해.
• 에이전트의 관절점 궤적과 번역된 시범의 관절점 궤적 간 L2 거리 기반 보상 함수를 설계하여 강화학습을 통한 효과적인 정책 학습을 가능하게 하기 위해.
• 단일 인간 시범만을 사용하여 다양한 조작 작업에 걸쳐 일반화성과 강건성을 입증하기 위해.

제안 방법

• 인간 시범 영상에서 로봇 도메인 유사 영상로 변환하기 위해 비지도 이미지-이미지 번역 모델(예: CycleGAN)을 활용하여 도메인 간 차이를 최소화한다.
• 번역된 로봇 영상 프레임에서 비지도 관절점 검출을 수행하여 구조적이고 의미 있는 표현을 추출한다.
• 검출된 관절점을 후속 정책 학습을 위한 상태 표현으로 사용하며, 기존의 이미지 기반 특징을 대체한다.
• 에이전트의 관절점 궤적과 번역된 시범의 관절점 궤적 간 L2 거리 기반 보상 함수를 설계한다.
• 관절점 기반 보상 신호를 사용하여 SAC+AE(샘플 효율적인 오프-폴리시 강화학습 알고리즘)를 통해 정책을 훈련한다.
• 지각과 정책 훈련을 분리한다: 지각은 쌍이 맞지 않는 인간 및 로봇 영상에서 훈련되고, 정책은 단일 인간 영상에서 훈련된다.

Figure 1 : LbW. Given a single human video, our LbW framework learns human to robot translation followed by unsupervised keypoint detection. The resulting keypoint-based representations are semantically meaningful and can be used to guide the robot to learn manipulation skills through physical imita

실험 결과

연구 질문

• RQ1 전문가 행동 시퀀스에 접근할 수 없더라도 로봇이 단일 인간 영상에서 복잡한 조작 기술을 학습할 수 있는가?
• RQ2 비지도 이미지 번역과 관절점 검출이 인간과 로봇의 시각 도메인 간 도메인 간 격차를 어떻게 공동으로 줄일 수 있는가?
• RQ3 관절점 기반 상태 표현이 영상에서의 전통적 이미지 기반 특징보다 임의의 학습에서 우월한가?
• RQ4 제안된 프레임워크는 최소한의 감독으로 다양한 조작 작업에 걸쳐 일반화되는가?
• RQ5 이미지-이미지 번역에서 발생하는 시각적 잡음이 후속 정책 성능에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

• LbW는 도달 및 밀기 작업에서 100%의 성공률을 기록하며, AVID-m 및 분류기-보상 기반 베이스라인보다 뛰어난 성능을 보였다.
• 더 복잡한 슬라이딩, 커피 제조, 서랍 닫기 작업에서는 LbW가 AVID-m 및 분류기-보상 방법보다 높은 성공률을 기록하여 뛰어난 일반화 능력을 입증했다.
• 시각적 분석 결과 AVID-m의 이미지 번역은 심각한 잡음(예: 물체 누락, 자세 불일치)을 생성하여 정책 성능을 떨어뜨리는 것으로 확인되었다.
• 관절점 기반 표현은 번역된 이미지에서 직접 특징을 추출하는 것보다 더 강건하고 의미 있는 상태 인코딩을 가능하게 했다.
• LbW는 단일 인간 시범만으로 최신 기술 수준의 성능을 달성했으며, AVID-m는 15개, 분류기-보상 방법은 35개의 전문가 영상 사용하였다.
• 이 프레임워크는 OpenAI Gym과 Meta-World라는 두 가지 서로 다른 시뮬레이션 환경에서 뛰어난 성능을 보여, 광범위한 적용 가능성을 입증했다.

Figure 2 : Overview of the proposed LbW. Our LbW framework is composed of three main components: an image-to-image translation network $T$ , a keypoint detector $\Psi$ , and a policy network $\pi$ . The image-to-image translation network translates the input human demonstration video frame by frame