[논문 리뷰] Unsupervised Learning of Visual 3D Keypoints for Control

Boyuan Chen, Pieter Abbeel외 1명|arXiv (Cornell University)|2021. 06. 14.

Reinforcement Learning in Robotics참고 문헌 22인용 수 10

한 줄 요약

이 논문은 다중 시야 일致성과 후행 작업 목표를 활용해 훈련된 미분 가능 인코더를 사용하여 영상에서 직접 3D 시각적 키포인트를 엔드 투 엔드로 비지도 학습하는 방법을 제안한다. 학습된 3D 키포인트는 로봇 관절과 물체의 움직임을 효과적으로 포착하며, 다양한 강화학습 벤치마크에서 이전 최고 성능 방법들을 능가한다.

ABSTRACT

Learning sensorimotor control policies from high-dimensional images crucially relies on the quality of the underlying visual representations. Prior works show that structured latent space such as visual keypoints often outperforms unstructured representations for robotic control. However, most of these representations, whether structured or unstructured are learned in a 2D space even though the control tasks are usually performed in a 3D environment. In this work, we propose a framework to learn such a 3D geometric structure directly from images in an end-to-end unsupervised manner. The input images are embedded into latent 3D keypoints via a differentiable encoder which is trained to optimize both a multi-view consistency loss and downstream task objective. These discovered 3D keypoints tend to meaningfully capture robot joints as well as object movements in a consistent manner across both time and 3D space. The proposed approach outperforms prior state-of-art methods across a variety of reinforcement learning benchmarks. Code and videos at this https URL

연구 동기 및 목표

• 고차원 영상에서 구조적인 3D 키포인트 임베딩을 학습하여 로봇 제어를 위한 시각적 표현을 향상시키는 것.
• 이전의 2D 기반 키포인트 방법의 한계를 보완하기 위해 영상에서 기하학적으로 의미 있는 3D 키포인트 구조를 직접 학습하는 것.
• 다중 시야 일치성과 후행 작업 목표를 활용하여 3D 키포인트 인코더의 엔드 투 엔드 비지도 훈련을 가능하게 하는 것.
• 시간과 공간에 걸쳐 일관되게 로봇 관절과 물체의 움직임을 추적할 수 있는 의미 있는 3D 키포인트를 발견하는 것.

제안 방법

• 다양한 신경망 인코더가 입력 영상에서 잠재 3D 키포인트 공간으로 매핑되며, 이는 엔드 투 엔드 훈련을 가능하게 한다.
• 다양한 카메라 시야 간 기하학적 일관성을 확보하기 위해 다중 시야 일치 손실을 사용하여 모델을 훈련한다.
• 후행 작업 목표(예: 강화학습 정책 훈련)를 함께 최적화하여 키포인트 표현을 제어 관련 역학과 일치시킨다.
• 시퀀스와 시야 변화에 걸쳐 일관된 공간적 및 시간적 구조를 유지하도록 3D 키포인트 공간을 최적화한다.
• 재구성 손실과 일치 손실을 동시에 최소화하면서도 제어에 관련된 정보를 유지한다.
• 3D 키포인트 레이블 데이터가 전혀 필요 없어 완전히 비지도 사전 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 영상에서 3D 시각적 키포인트를 비지도로 학습하는 것이 2D 또는 비구조화된 표현에 비해 후행 로봇 제어 성능을 향상시키는가?
• RQ2 발견된 3D 키포인트가 3D 환경에서 다양한 시야와 시간적 시퀀스에 얼마나 잘 일반화되는가?
• RQ3 학습된 3D 키포인트가 관절 운동과 물체 상호작용과 같은 의미 있는 로봇 및 물체의 움직임을 어느 정도 잘 포착하는가?
• RQ4 후행 작업 목표와 함께 최적화하는 것이 3D 키포인트 표현의 품질과 유용성을 향상시키는가?
• RQ5 3D 감독이나 레이블이 없는 3D 키포인트 데이터가 전혀 필요 없이 제안된 방법이 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 이전 최고 성능 방법들에 비해 다양한 강화학습 벤치마크에서 뛰어난 성능을 달성한다.
• 학습된 3D 키포인트는 시간과 3D 공간 구성 모두에서 로봇 관절과 물체의 움직임을 일관되게 포착한다.
• 모델은 강력한 다중 시야 일치성을 보이며, 이는 3D 키포인트 공간이 다양한 시점에서의 기하학적 구조를 유지하고 있음을 시사한다.
• 다중 시야 및 작업 목표를 활용한 비지도 사전 훈련은 후행 제어 작업에서 빠른 수렴과 더 나은 샘플 효율성을 이끈다.
• 정밀 조정이나 3D 감독 없이도 다양한 환경과 작업에 대해 잘 일반화된다.
• 프레임워크는 진정한 3D 키포인트 레이블이 없이도 이미지 관측만으로 효과적인 정책 학습을 가능하게 한다.