[논문 리뷰] Deep Visual Foresight for Planning Robot Motion

Chelsea Finn, Sergey Levine|arXiv (Cornell University)|2016. 10. 03.

Robot Manipulation and Learning참고 문헌 36인용 수 19

한 줄 요약

이 논문은 인간 레이블 데이터, 카메라 캘리브레이션, 물리 시뮬레이터 없이도 실물 로봇이 새로운 물체를 비포획성으로 다룰 수 있도록 하는 자기지도 학습 방법을 제안한다. 이 방법은 학습된 시각 예측 모델을 기반으로 한 모델 예측 제어(MPC)를 사용하여 사용자가 지정한 픽셀을 목표 위치로 옮기는 동작을 계획하며, 종합적인 시각적 상상력을 통해 훈련 중에 보지 못한 물체에 대해서도 견고한 성능을 달성한다.

ABSTRACT

A key challenge in scaling up robot learning to many skills and environments is removing the need for human supervision, so that robots can collect their own data and improve their own performance without being limited by the cost of requesting human feedback. Model-based reinforcement learning holds the promise of enabling an agent to learn to predict the effects of its actions, which could provide flexible predictive models for a wide range of tasks and environments, without detailed human supervision. We develop a method for combining deep action-conditioned video prediction models with model-predictive control that uses entirely unlabeled training data. Our approach does not require a calibrated camera, an instrumented training set-up, nor precise sensing and actuation. Our results show that our method enables a real robot to perform nonprehensile manipulation -- pushing objects -- and can handle novel objects not seen during training.

연구 동기 및 목표

• 인간 감독 없이도 새로운 작업과 환경으로 로봇 학습을 확장하는 데 도전한다.
• 모델링 오차가 누적되는 수동으로 설계된 로봇 파ip라인의 한계를 극복한다.
• 자율적으로 수집된 레이블이 없는 비디오 데이터만을 사용하여 실물 로봇 조작을 가능하게 한다.
• 훈련 중에 보지 못한 새로운 물체로 일반화되며, 3D 모델이나 깊이 센서가 필요하지 않은 방법을 개발한다.
• 학습된 시각 예측 모델이 실시간에서 효과적이고 연속적인 운동 계획을 지원할 수 있음을 입증한다.

제안 방법

• 로봇이 자연 상태에서 수집한 레이블이 없는 비디오 데이터를 기반으로 컨volutional LSTM 기반의 비디오 예측 모델을 훈련한다.
• 미래의 이미지 프레임과 픽셀 이동을 예측하기 위해 모터 명령 시퀀스로 비디오 예측 모델을 조건화한다.
• 예측 모델에 대한 확률적 추론을 사용하여 동작 계획을 위한 모델 예측 제어(MPC)를 수행한다.
• 사용자 지정된 픽셀(또는 픽셀 그룹)을 테스트 시점에 목표 위치로 이동시키는 것을 작업 목표로 정의한다.
• 실시간 관측을 사용하여 동작을 지속적으로 재계획함으로써 예측 오차에 대한 피드백 제어와 보정을 가능하게 한다.
• 예측된 이미지 시퀀스에서 목표 픽셀 이동을 달성할 확률을 최대화함으로써 동작 시퀀스를 최적화한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 방식으로 훈련된 딥 시각 예측 모델이 인간 레이블 보상이나 물체 레이블 없이 효과적인 로봇 운동 계획을 가능하게 할 수 있는가?
• RQ2 이러한 모델이 훈련 중에 보지 못한 물체에 대해 비포획성 밀기 작업에서 얼마나 잘 일반화되는가?
• RQ3 기하학적 규칙이나 알려진 카메라 캘리브레이션에 의존하는 히우리스틱 기반 베이스라인과 비교해 성능은 어떠한가?
• RQ4 특히 자기 음영(예: 로봇 팔이 물체를 가로막는 경우)과 물체의 질량 또는 접촉 동역학 예측의 정확도가 떨어질 경우의 실패 유형은 무엇인가?
• RQ5 확률적 비디오 예측과 MPC의 통합이 비정형 환경에서 견고하고 실시간 제어를 가능하게 하는가?

주요 결과

• 이 방법은 훈련 중에 보지 못한 새로운 물체에 대해 실물 로봇이 비포획성 밀기 작업을 수행할 수 있도록 하여, 훈련 분포를 초월한 일반화 능력을 입증한다.
• 깊이 센서나 3D 모델이 없어도, 카메라 캘리브레이션을 요구하는 방법과 비교해도 성능이 뛰어나며, 단순 기하학적 히우리스틱 기반 베이스라인보다도 우수하다.
• 실패 사례는 주로 자기 음영(예: 로봇 팔이 물체를 가로막는 경우)과 물체 질량 또는 접촉 동역학 예측의 정확도 부족에서 기인한다.
• 예측된 픽셀 이동과 접촉 효과를 기반으로, 이전에 보지 못한 물체에 대해서도 목표 픽셀을 목표 위치로 이동시키는 동작을 성공적으로 계획한다.
• 현재 비디오 예측 모델의 예측 수평이 짧고 정확도가 제한되어 있어 성능에 영향을 미친다. 일반적으로 몇 프레임 내에서만 예측 가능하다.
• 표준 GPU에서 계산적으로 실현 가능하므로, 자가 포함된 로봇 시스템에 대한 실용적 구현 가능성을 시사한다.