[논문 리뷰] Time Reversal as Self-Supervision

Suraj Nair, Mohammad Babaeizadeh외 3명|arXiv (Cornell University)|2018. 10. 02.

Robot Manipulation and Learning참고 문헌 41인용 수 13

한 줄 요약

이 논문은 TRASS (Time Reversal as Self-Supervision)를 제안하며, 목표 상태에서 역행하는 궤적을 예측할 수 있도록 시간 반전 모델(TRM)을 훈련시켜, 시연나 특수 정보 없이도 목표 지향적 정책 학습을 가능하게 하는 자기지도 학습 방법이다. 시각적 모델 예측 제어를 사용하여, RGB 입력만으로도 지도 상태 정보 없이 실제 테트리스 블록 결합 작업에서 본 적 있는 블록 조합에서는 75%의 성공률을, 본 적 없는 조합에서는 50%의 성공률을 기록하였다.

ABSTRACT

A longstanding challenge in robot learning for manipulation tasks has been the ability to generalize to varying initial conditions, diverse objects, and changing objectives. Learning based approaches have shown promise in producing robust policies, but require heavy supervision to efficiently learn precise control, especially from visual inputs. We propose a novel self-supervision technique that uses time-reversal to learn goals and provide a high level plan to reach them. In particular, we introduce the time-reversal model (TRM), a self-supervised model which explores outward from a set of goal states and learns to predict these trajectories in reverse. This provides a high level plan towards goals, allowing us to learn complex manipulation tasks with no demonstrations or exploration at test time. We test our method on the domain of assembly, specifically the mating of tetris-style block pairs. Using our method operating atop visual model predictive control, we are able to assemble tetris blocks on a physical robot using only uncalibrated RGB camera input, and generalize to unseen block pairs. sites.google.com/view/time-reversal

연구 동기 및 목표

• 시연나 특수 상태 정보 없이도 강건한 조작 정책 학습에 도전하는 것.
• 시각적 조작 작업에서 알려지지 않은 물체와 초기 조건으로의 일반화를 가능하게 하는 것.
• 작업을 뒤집는 것이 쉬운 특성(예: 펜 뚜껑 열기)을 활용하여 고수준 작업 구조를 추론할 수 있는 자기지도 학습 방법을 개발하는 것.
• 카메라 校정이 필요 없는 단순한 RGB 관측만으로도 복잡한 조립 작업에서 시뮬레이션에서 실물로의 전이를 가능하게 하는 것.

제안 방법

• 목표 상태를 왜곡하고 정방향 역학을 기록하여 궤적을 수집한 후, 이를 뒤집어 지도 학습 데이터를 생성한다.
• 현재 상태에서 뒤집힌 궤적을 예측할 수 있도록 시간 반전 모델(TRM)을 훈련시어, 목표로 되돌아가는 경로를 효과적으로 학습한다.
• TRM을 사용하여 어떤 현재 상태에서라도 목표로 향하는 가이드 역할을 하는 상태 궤적을 생성할 수 있으며, 이는 목표 상태가 알려지지 않은 경우에도 가능하다.
• 실물 로봇 실행을 위해 TRM을 시각적 모델 예측 제어(MPC)와 통합하여 저수준 액션을 생성한다.
• 시뮬레이션에서 카메라 校정 없이도 실물 전이를 가능하게 하기 위해 도메인 랜덤라이제이션을 적용한다.
• 고수준 계획( TRM을 통한)과 저수준 제어를 분리함으로써 모듈러한 학습과 더 나은 계획 효율성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 작업 궤적의 시간 반전이 시연이나 진짜 목표 상태 정보 없이도 조작 정책 학습에 효과적인 자기지도 학습을 제공할 수 있는가?
• RQ2 실물 조작 작업에서 알려지지 않은 블록 조합에 대해 TRM은 얼마나 잘 일반화되는가?
• RQ3 도메인 랜덤라이제이션을 사용해 시뮬레이션에서 훈련된 TRM이 복잡한 조립 작업에서 성공적인 시뮬레이션-실물 전이를 가능하게 하는가?
• RQ4 시각 제어에서 형상 보상 또는 완전히 지도 학습 기반의 베이스라인에 비해 TRM은 성능을 향상시키는가?
• RQ5 TRM 기반 계획은 시각적 조작에서 광범위한 탐색이나 특수 상태 정보의 필요성을 줄일 수 있는가?

주요 결과

• TRASS는 실물 KUKA IIWA-7 로봇에서 캘리브레이션되지 않은 RGB 입력과 시연 없이도 본 적 있는 블록 조합에서는 75%의 성공률, 본 적 없는 블록 조합에서는 50%의 성공률을 기록하였다.
• 본 적 없는 블록 조합에서 형상 보상 기반 베이스라인보다 성공률이 두 배 이상 높았으며, 완전히 지도 학습 기반 베이스라인과 성능 수준을 맞추었다.
• 도메인 랜덤라이제이션을 통해 시뮬레이션-실물 전이가 성공했으며, 시뮬레이션에서의 접촉 노이즈 감소로 인해 실물 성능가 실물 성능을 초월하였다.
• 825개의 실물 로봇 궤적을 기반으로 시각적 동역학 모델을 미세조정해도 성능 향상이 없었으며, 이는 극단적인 도메인 랜덤라이제이션이 충분한 강건성을 제공했음을 시사한다.
• 훈련 중 카메라 랜덤라이제이션을 제거해도 실물 성공률에 유의미한 영향을 주지 않아, 모델의 일반화 능력이 시각적 도메인 이동에 대해 강건함을 보였다.
• 이 방법은 자기지도 학습을 통해 뒤집힌 궤적에서 유래한 정보만으로도 시각적 MPC를 성공적으로 활용하여 복잡한 테트리스 스타일 블록 결합 작업을 해결하였다.