[논문 리뷰] Keypoints into the Future: Self-Supervised Correspondence in Model-Based Reinforcement Learning

Lucas Manuelli, Yunzhu Li외 2명|arXiv (Cornell University)|2020. 09. 10.

Reinforcement Learning in Robotics참고 문헌 27인용 수 34

한 줄 요약

이 논문은 자가지도(self-supervised) 시각 대응을 모델 기반 RL 시스템의 잠재 상태로 제시하여 MPC를 통한 폐루프 제어를 가능하게 하고 시뮬레이터-실제 전이와 비전 기반 조작에서 범주 수준 일반화를 강하게 보여준다.

ABSTRACT

Predictive models have been at the core of many robotic systems, from quadrotors to walking robots. However, it has been challenging to develop and apply such models to practical robotic manipulation due to high-dimensional sensory observations such as images. Previous approaches to learning models in the context of robotic manipulation have either learned whole image dynamics or used autoencoders to learn dynamics in a low-dimensional latent state. In this work, we introduce model-based prediction with self-supervised visual correspondence learning, and show that not only is this indeed possible, but demonstrate that these types of predictive models show compelling performance improvements over alternative methods for vision-based RL with autoencoder-type vision training. Through simulation experiments, we demonstrate that our models provide better generalization precision, particularly in 3D scenes, scenes involving occlusion, and in category-generalization. Additionally, we validate that our method effectively transfers to the real world through hardware experiments. Videos and supplementary materials available at https://sites.google.com/view/keypointsintothefuture

연구 동기 및 목표

• 고차원 관찰치를 가진 로봇 조작을 위한 시각 기반 모델 학습을 동기 부여하고 가능하게 한다.
• 자가지도 밀집 시각 특징(descriptors)을 통해 추적된 키포인트로 형성된 잠재 상태를 제안한다.
• 잠재 키포인트 공간에서 동역학을 학습하고 폐루프 제어를 위한 MPC로 온라인 계획을 수행한다.
• 오토인코더 및 트랜스포트 기반 베이스라인 대비 일반화 및 현실 세계로의 전이 향상을 시연한다.
• 시뮬레이션과 하드웨어 실험 모두에서 가려짐과 범주 수준 변형에 대한 강건성을 보인다.

제안 방법

• 자가지도 시각 대응 모델에 의해 추출된 추적 키포인트를 통해 밀집 시각 설명자로부터 잠재 상태 z를 학습한다.
• horizons H에서 다중 단계 예측 오차를 최소화하도록 순방향 동역학 모델 z_{t+1}=f(z_t, a_t)을 학습한다 (L_dynamics).
• 키포인트 위치 y로부터 z를 구성하는 변형으로 Descriptor Set(DS), Spatial Descriptor Set(SDS), Weighted Descriptor Set(WDS), 그리고 이들의 조합(WSDS)을 사용한다.
• 키포인트에 대해 신뢰할 수 없는 포인트를 다루기 위한 볼록 가중치를 가진 학습 가능한 매핑 phi(y; α)로 z를 구성한다(WDS).
• 동역학 학습 동안 밀집 대응 네트워크를 고정된 상태로 유지한다.
• 학습된 동역학을 이용해 MPPI 기반의 MPC로 H의 수평선에서 보상을 최대화하도록 온라인 계획을 수행하고 목표 잠재 상태 z*를 둔다.
• 시뮬레이션(상향 시점, 각도, 가려짐, 머그컵/카테고리)과 하드웨어(Kuka 조작기)로 평가하며, 동역학 학습에는 10분의 상호작용 데이터, 목표 명세에는 단 하나의 시연을 사용한다.

실험 결과

연구 질문

• RQ1 자가지도 밀집 시각 대응이 시각 기반 조작에서 모델 기반 RL을 위한 정보적이고 전달 가능한 잠재 상태가 될 수 있는가?
• RQ2 다양한 디스크립터 기반 잠재 상태 구성(DS, SDS, WDS, WSDS)이 가려짐 및 범주 변이 하에서 동역학 학습 및 폐루프 제어에 어떤 영향을 미치는가?
• RQ3 이 접근법이 시뮬레이션과 실제 하드웨어에서 오토인코더 및 트랜스포트 기반 베이스라인보다 우수한가, 특히 부분 가려짐 및 범주 수준 일반화 하에서?
• RQ4 제한된 상호작용 데이터와 목표 명세를 위한 단 하나의 시연으로 실제 세계로의 전이를 달성할 수 있는가?

주요 결과

• 밀집 시각 대응 기반 잠재 상태는 시뮬레이션 과제와 하드웨어 전반에서 베이스라인보다 더 정확하고 샘플 효율적인 모델 기반 RL을 가능하게 한다.
• 가려짐 하에서, SDS/WDS/WSDS가 DS보다 우수하여 동역학 정확도 및 MPC 성능을 향상시킨다.
• 범주 수준의 머그컵 작업에서 더 많은 키포인트를 사용하는 방법(DS/WDS)이 형태 변 variation 포착으로 희소한 변형보다 잘 수행하고; SDS/WDS는 강건성을 유지한다.
• Transporter 및 Autoencoder 베이스라인과 비교할 때 SDS/WDS가 모든 과제에서 포즈/각도 편차를 더 잘 달성하며, 가려짐 및 머그컵 범주에서 가장 큰 이점을 보인다.
• 하드웨어 실험은 이 방법이 2초의 MPC 수평선과 5 Hz 명령 속도로 장기 궤적을 안정화하며, 약 10분의 상호작용 데이터와 단일 시연으로 여러 궤적에 걸쳐 작동함을 보인다.