[논문 리뷰] Third-Person Visual Imitation Learning via Decoupled Hierarchical Controller

Pratyusha Sharma, Deepak Pathak외 1명|arXiv (Cornell University)|2019. 11. 21.

Robot Manipulation and Learning인용 수 28

한 줄 요약

이 논문은 제3인칭 시각 임의션 학습을 위한 분리형 계층적 제어기를 제안한다. 고수준 목표 생성기(고수준 목표 생성기)는 제3인칭 비디오 시연에서 첫 번째 인칭 하위 목표를 추론하고, 저수준 제어기는 원시 픽셀 관측치를 사용하여 이러한 목표를 달성하기 위한 동작을 실행한다. 이 방법은 실제 Baxter 로봇에서 새로운 물체와 예측되지 않은 구성 요소에 대해 강건한 일반화 성능을 보이며, 종단 간 기준 대비 임의션 정확도와 샘플 효율성에서 뛰어난 성능을 발휘한다.

ABSTRACT

We study a generalized setup for learning from demonstration to build an agent that can manipulate novel objects in unseen scenarios by looking at only a single video of human demonstration from a third-person perspective. To accomplish this goal, our agent should not only learn to understand the intent of the demonstrated third-person video in its context but also perform the intended task in its environment configuration. Our central insight is to enforce this structure explicitly during learning by decoupling what to achieve (intended task) from how to perform it (controller). We propose a hierarchical setup where a high-level module learns to generate a series of first-person sub-goals conditioned on the third-person video demonstration, and a low-level controller predicts the actions to achieve those sub-goals. Our agent acts from raw image observations without any access to the full state information. We show results on a real robotic platform using Baxter for the manipulation tasks of pouring and placing objects in a box. Project video and code are at https://pathak22.github.io/hierarchical-imitation/

연구 동기 및 목표

• 로봇이 상태 정보에 접근할 수 없을 때도 단일 제3인칭 비디오 시연만으로도 복잡한 조작 작업을 학습할 수 있도록 하는 것.
• 인간의 행동과 목표를 제3인칭 시점에서 제1인칭 로봇 시점으로 변환하는 과제를 해결하는 것.
• 고수준 목표 추론과 저수준 동작 제어를 분리함으로써 새로운 물체와 예측되지 않은 구성 요소에 대한 일반화 성능을 향상시키는 것.
• 다양한 작업 간에 단일 강건한 저수준 제어기를 공유함으로써 각 작업당 필요한 데이터 요구량을 줄이는 것.

제안 방법

• 고수준 목표 생성기는 조건부 GAN 기반 U-Net 아키텍처를 사용하여 제3인칭 인간 시연 프레임과 현재 로봇 관측치로부터 제1인칭 시각 하위 목표를 예측한다.
• 목표 생성기는 인간 비디오와 로봇 궤적 데이터의 쌍을 사용하여 지도 학습 방식으로 훈련된다. 이때 시간적으로 정렬되지 않은 데이터를 사용한다.
• 저수준 역제어기는 예측된 하위 목표와 현재 로봇 관측치를 기반으로 관절 각도 동작을 출력한다. 이는 ImageNet 가중치를 미세 조정한 ResNet-18 기반 백본을 사용한다.
• 저수준 제어기는 랜덤 크롭 및 제트링과 같은 데이터 증강 기법을 통해 카메라 및 암 진동에 대한 강건성을 확보한다.
• 시스템은 원시 픽셀에서 종단 간으로 작동하며, 진짜 상태 정보나 수동으로 지정된 목표가 필요로 하지 않으며, 오직 비디오 시연에 의존한다.
• 분리된 아키텍처 덕분에 저수준 제어기를 여러 작업 간에 공유할 수 있어 샘플 효율성이 향상되고 과적합이 감소한다.

실험 결과

연구 질문

• RQ1 로봇이 단일 제3인칭 비디오 시연만으로도 새로운 물체와 구성 요소에 대해 일반화할 수 있는가?
• RQ2 고수준 목표 생성과 저수준 제어를 분리함으로써 종단 간 학습 대비 일반화 성능가 향상되는가?
• RQ3 재학습 없이도 단일 저수준 제어기가 다양한 조작 작업에 얼마나 잘 일반화되는가?
• RQ4 조건부 GAN을 사용해 제3인칭 시연에서 현실적인 제1인칭 하위 목표를 생성하는 데 얼마나 효과적인가?
• RQ5 진짜 상태 정보나 시간 모델링 없이도 안정적이고 진동이 적은 궤적을 달성할 수 있는가?

주요 결과

• 제안된 분리형 계층적 제어기는 단일 제3인칭 비디오 시연만으로도 실제 Baxter 로봇의 작업(컵에 물 따르기, 상자 안에 물체 놓기 등)에서 성공적인 임의션 학습을 달성했다.
• 고수준 목표 생성기는 시각적으로 타당하고 의미적으로 유의미한 하위 목표를 생성하여 저수준 제어기가 목표 상태에 고도로 정확하게 도달할 수 있도록 했다.
• 시뮬레이션에서 Sawyer 로봇에 대해 새로운 물체 위치로 일반화할 때 평균 RMSE가 6.09 (±2.8)를 기록하여 강건한 성능을 입증했다.
• 종단 간 기준 대비 시스템은 예측되지 않은 물체 구성 요소와 새로운 작업에 대해 더 나은 일반화 성능을 보였으며, 특히 제로샷 설정에서 두드러진 성능을 보였다.
• 모듈식 설계 덕분에 샘플 효율성 학습이 가능했으며, 저수준 제어기가 작업 간에 공유되어 각 작업당 필요한 데이터가 감소했다.
• 절단 실험 결과 분리된 아키텍처가 종합 학습 대비 성능과 안정성을 크게 향상시켰으며, 특히 물 따르기와 같은 복잡한 작업에서 두드러졌다.