[논문 리뷰] Learning Robotic Manipulation through Visual Planning and Acting

Angelina Wang, Thanard Kurutach외 3명|arXiv (Cornell University)|2019. 05. 11.

Robot Manipulation and Learning참고 문헌 50인용 수 18

한 줄 요약

이 논문은 자기지도 학습을 통한 로봇 상호작용에서 해석 가능한 시각적 계획을 학습하고, 학습된 역역학 제어기를 통해 이를 실행하는 데이터 기반 접근법인 시각적 계획 및 실행(Visual Planning and Acting, VPA)을 제안한다. 인과적 InfoGAN 기반 생성 모델을 활용해 이미지 공간에서의 계획을 수행하고, 제어에는 시각적 서보 제어 정책을 사용함으로써, 비틀림 가능한 물체(예: 밧줄)에 대해 샘플 효율적이고 해석 가능한 조작을 달성하였으며, 장애물이 존재하는 환경에서 PR2 로봇에서 20%의 성공률을 기록하였다.

ABSTRACT

Planning for robotic manipulation requires reasoning about the changes a robot can affect on objects. When such interactions can be modelled analytically, as in domains with rigid objects, efficient planning algorithms exist. However, in both domestic and industrial domains, the objects of interest can be soft, or deformable, and hard to model analytically. For such cases, we posit that a data-driven modelling approach is more suitable. In recent years, progress in deep generative models has produced methods that learn to `imagine' plausible images from data. Building on the recent Causal InfoGAN generative model, in this work we learn to imagine goal-directed object manipulation directly from raw image data of self-supervised interaction of the robot with the object. After learning, given a goal observation of the system, our model can generate an imagined plan -- a sequence of images that transition the object into the desired goal. To execute the plan, we use it as a reference trajectory to track with a visual servoing controller, which we also learn from the data as an inverse dynamics model. In a simulated manipulation task, we show that separating the problem into visual planning and visual tracking control is more sample efficient and more interpretable than alternative data-driven approaches. We further demonstrate our approach on learning to imagine and execute in 3 environments, the final of which is deformable rope manipulation on a PR2 robot.

연구 동기 및 목표

• 분석적 모델링이 불가능한 실제 환경에서 비틀림 가능한 물체를 조작하는 데 도전하는 것.
• 비탄성 물체에 대해 수동으로 상태와 전이를 설계해야 하는 전통적 계획 방법의 한계를 극복하는 것.
• 인간이 제공한 시각적 계획이나 시연가 필요 없는 데이터 기반, 자기지도 학습 접근법을 개발하는 것.
• 물리적 실행 이전에 시각적으로 점검 가능한 계획을 생성함으로써 안전하고 해석 가능한 조작을 가능하게 하는 것.
• 복잡하고 장애물이 있는 환경에서 실제 PR2 로봇에서 종단간 시각적 계획 및 실행의 가능성을 입증하는 것.

제안 방법

• 비틀림 가능한 물체(예: 밧줄)에 대한 로봇-물체 상호작용의 원시 이미지 데이터를 자기지도 학습을 통한 무작위 상호작용을 통해 수집한다.
• C3IGAN(Causal Conditional InfoGAN) 모델을 훈련하여 계획에 적합한 분리된 구조적 잠재 공간을 학습한다.
• C3IGAN 모델의 잠재 공간에서 선형 보간을 통해 시각적 계획을 생성하고, 이를 다시 이미지 관측으로 매핑한다.
• 동일한 데이터로부터 역역학 모델을 학습하여 시각적 서보 제어를 통해 상상된 시각적 계획을 추적한다.
• 환경적 맥락(예: 장애물 위치)을 C3IGAN에 조건화하여 물리적 제약을 고려한 계획을 가능하게 한다.
• 조작을 두 단계로 분해한다: 시각적 계획(궤적 상상)과 시각적 추적(학습된 제어를 통한 실행).

실험 결과

연구 질문

• RQ1 데이터 기반 모델이 원시 이미지 데이터에서 직접적으로 비틀림 가능한 물체 조작을 위한 목표 지향 시각적 계획을 학습할 수 있는가?
• RQ2 실행 이전에 시각적 점검을 통해 이미지 공간에서의 시각적 계획이 해석 가능하고 안전하게 만들 수 있는가?
• RQ3 계획과 제어를 분리함으로써 종단간 모델-자유 강화학습에 비해 샘플 효율성과 성능이 향상되는가?
• RQ4 학습 중에 나타나지 않은 장애물 구성에 대해 모델이 일반화할 수 있는가?
• RQ5 C3IGAN 기반 시각적 계획과 학습된 시각적 서보 제어의 조합이 실제 로봇 조작에서 얼마나 효과적인가?

주요 결과

• C3IGAN 모델은 장애물이 있는 상황에서도 실행 가능한 조작 궤적을 나타내는 시각적으로 타당한 이미지 시퀀스를 성공적으로 생성하였다.
• 생성된 시각적 계획 중 약 15%가 물리적 제약(예: 장애물 둘러싸기)을 준수하는 것으로 시각적으로 타당한 것으로 평가되었다.
• 역역학 모델은 장애물이 존재하는 밧줄 조작 작업에서 PR2 로봇에서 시각적으로 타당한 계획의 20%를 성공적으로 실행하였다.
• 이 방법은 해석 가능성을 확보했다: 실패 사례는 종종 실행 이전에 상상된 계획의 시각적 점검을 통해 감지되었으며, 이는 안전성을 향상시켰다.
• 절대 성공률가 낮음에도 불구하고, 시뮬레이션에서 모델-자유 강화학습에 비해 샘플 효율성과 해석 가능성 측면에서 우수한 성능을 보였다.
• 학습 중에 나타나지 않은 장애물 구성에 대해서도 모델이 일반화되었으며, 환경 변화에 대한 어느 정도의 내구성을 보였다.