[논문 리뷰] What Would You Do? Acting by Learning to Predict

Adam W. Tow, Niko Sünderhauf외 3명|arXiv (Cornell University)|2017. 03. 08.

Reinforcement Learning in Robotics참고 문헌 24인용 수 4

한 줄 요약

이 논문은 Learning from Prediction(LfP)라는 새로운 로봇 작업 학습 방법을 소개한다. 이 방법은 단일 이미지에서 시각적 상태 전이를 예측함으로써 인간의 시연를 모방할 수 있도록 한다. PredNet 모델을 사용해 시각적 관측에서 다음 상태를 예측하도록 훈련시킴으로써, 로봇은 새로운 상태로 일반화하고 최소한의 로봇 내 동작 실행으로 작업을 수행할 수 있으며, 순서 기반 예측을 사용할 경우 movetopos 작업에서 100% 성공률를 달성하고, 단일 이미지 예측을 사용할 경우 높은 성공률를 기록한다.

ABSTRACT

We propose to learn tasks directly from visual demonstrations by learning to predict the outcome of human and robot actions on an environment. We enable a robot to physically perform a human demonstrated task without knowledge of the thought processes or actions of the human, only their visually observable state transitions. We evaluate our approach on two table-top, object manipulation tasks and demonstrate generalisation to previously unseen states. Our approach reduces the priors required to implement a robot task learning system compared with the existing approaches of Learning from Demonstration, Reinforcement Learning and Inverse Reinforcement Learning.

연구 동기 및 목표

• 로봇이 운동학적 매핑, 보상 신호, 또는 동작-상태 주석 없이도 인간의 시각적 시연로부터 직접 작업을 학습할 수 있도록 하기 위해.
• 로봇에 종속적인 운동학, 보상 함수, 또는 시연자 동작 시퀀스에 의존하지 않도록 이전 가정을 줄이기 위해.
• 시연 중 관찰된 시각적 상태 전이만을 사용하여도 새로운 환경 상태로의 일반화를 달성하기 위해.
• 예를 들어 유튜브 영상과 같은 로봇에 종속되지 않은 시연를 사용하여 인간에서 로봇으로의 작업 전이를 가능하게 하기 위해.
• 모든 동작의 결과를 선택하기 전에 예측함으로써 로봇 내 동작 실행을 최소화하기 위해.

제안 방법

• 단일 이미지에서 다음 시각적 상태를 예측할 수 있도록 PredNet 아키텍처를 훈련시키며, 단일 이미지 추론을 가능하게 하기 위해 결정론적 시연 시퀀스를 사용한다.
• 인간 시연에서 관측된 상태 전이의 시퀀스를 사용해 모델을 훈련시켜 새로운 상태로의 일반화를 가능하게 한다.
• 동일한 모델을 로봇이 실행한 궤적에 대해 피지컬 튜닝함으로써 로봇이 자신의 동작 결과를 예측할 수 있도록 한다.
• 각 상태에서, 예측된 다음 상태와 인간 시연자의 예측된 다음 상태를 비교함으로써 모든 가능한 동작을 평가한다.
• 자신의 예측 결과와 인간의 예측된 다음 상태 사이의 시각적 차이를 최소화하는 로봇 동작을 선택한다.
• 특히 단일 이미지 예측이 신뢰할 수 없을 경우, 이전 상태 역사를 포함함으로써 예측 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 로봇이 시연자 동작이나 운동학 정보에 접근할 수 없더라도, 단지 시각적 상태 전이만을 사용하여 인간의 작업을 모방할 수 있는가?
• RQ2 작업 실행 중에 단일 이미지 상태 예측 모델이 새로운 환경 상태로 얼마나 일반화할 수 있는가?
• RQ3 시퀀스 기반 역사 사용이 단일 이미지 예측 대비 예측 정확도와 작업 성공률에 어떤 영향을 미치는가?
• RQ4 동일한 예측 모델을 인간 시연 예측과 로봇 동작 결과 예측에 모두 사용할 수 있는가?
• RQ5 예측 오차가 작업 실행에 어떤 영향을 미치며, 실패는 초기 단계의 예측 부정확성으로 인해 발생하는가?

주요 결과

• LfP 접근법은 순서 기반 상태 예측을 사용할 경우 movetopos 작업에서 100% 성공률를 달성했으며, 모든 가능한 물체 시작 위치를 커버했다.
• 단일 이미지 예측을 사용할 경우, 첫 번째 상태 예측이 올바를 경우 94.0%의 궤적에서 성공했으며, 첫 번째 상태 예측이 잘못된 궤적은 성공한 사례가 없었다.
• 모든 실패한 궤적은 첫 번째 상태에서 잘못된 예측으로 시작되었으며, 이는 초기 예측 오류가 실패의 주요 원인임을 시사한다.
• 성공한 궤적 중 3.6%만이 첫 번째 상태 예측이 잘못된 것으로 시작했고, 올바른 첫 번째 상태 예측을 한 궤적 중 후속 단계에서 실패한 사례는 없었다.
• 예시에서 단일 이미지 예측이 열악한 상태라도 이전 상태의 시퀀스를 통해 접근할 경우 정확하게 예측될 수 있음을 보여주었으며, 이는 맥락의 이점을 입증한다.
• pushpull 작업에 대해 모델은 단일 이미지 예측의 71.4%를 정확하게 예측했으며, 성공한 궤적의 96.4%는 올바른 첫 번째 상태 예측에서 시작했다.