[논문 리뷰] Multi-View Masked World Models for Visual Robotic Manipulation

Younggyo Seo, Junsu Kim외 4명|arXiv (Cornell University)|2023. 02. 05.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 다양한 카메라 시점에서의 시각적 표현을 강력하게 학습하기 위해 다중 시점 마스킹 오토인코더를 사용하는 강화학습 프레임워크인 Multi-View Masked World Models (MV-MWM)를 제안한다. 이는 효과적인 시각적 로봇 조작을 가능하게 한다. 이 방법은 다중 시점 및 단일 시점 제어 작업에서 최신 기술 수준의 성능를 달성하며, 카메라 캘리브레이션 없이도 실제 환경에 적용 가능하고, 시뮬레이션 및 실제 환경 설정 모두에서 시점 랜덤라이제이션에 대해 강력한 내성성을 보여준다.

ABSTRACT

Visual robotic manipulation research and applications often use multiple cameras, or views, to better perceive the world. How else can we utilize the richness of multi-view data? In this paper, we investigate how to learn good representations with multi-view data and utilize them for visual robotic manipulation. Specifically, we train a multi-view masked autoencoder which reconstructs pixels of randomly masked viewpoints and then learn a world model operating on the representations from the autoencoder. We demonstrate the effectiveness of our method in a range of scenarios, including multi-view control and single-view control with auxiliary cameras for representation learning. We also show that the multi-view masked autoencoder trained with multiple randomized viewpoints enables training a policy with strong viewpoint randomization and transferring the policy to solve real-robot tasks without camera calibration and an adaptation procedure. Video demonstrations are available at: https://sites.google.com/view/mv-mwm.

연구 동기 및 목표

• 단순한 입력 융합을 넘어서 다중 시점 시각 데이터를 효과적으로 활용하는 표현 학습 방법을 개발하는 것.
• 기존의 대조적 학습 방법이 정교한 양성/음성 쌍 구성이 필요하고, 시점 불변성을 가정한다는 한계를 해결하는 것.
• 카메라 캘리브레이션 또는 적응 기법 없이도 다중 시점 표현 학습을 통해 시뮬레이션에서 실제 로봇으로의 정책 전이를 가능하게 하는 것.
• 시점 랜덤라이제이션의 효과를 표현 학습에 활용하여 시각 서보 제어의 내성성을 향상시키는지 탐색하는 것.
• 다양한 로봇 조작 환경 설정, 즉 다중 시점 제어, 보조 카메라를 활용한 단일 시점 제어, 시점에 강건한 제어 등에서 방법의 성능을 평가하는 것.

제안 방법

• 전체 시점(카메라 시점)을 무작위로 마스킹하고, 모든 시점 간의 영상 오토인코딩을 통해 마스킹된 픽셀을 복원하는 다중 시점 마스킹 오토인코더를 훈련한다.
• 변동 가능한 크기의 다중 시점 입력을 처리하고 공통 표현을 추출하기 위해 비전 트랜스포머 백본을 사용한다.
• 오토인코더를 동결하고, 동결된 표현을 기반으로 월드 모델을 훈련하여 모델 기반 강화학습을 통해 상상의 궤적을 생성하고 정책 훈련을 수행한다.
• 다양하고 무작위로 선택된 카메라 구성에서 훈련하여 표현 학습 중에 시점 랜덤라이제이션을 적용한다.
• 단일 시점 제어 설정에서 강화학습 및 행동 복제 모두에 대해 학습된 표현을 사용한다.
• 시뮬레이션에서 랜덤라이제이션된 시점을 사용해 정책을 훈련하고, 재학습이나 캘리브레이션 없이 그대로 실제 로봇에 배포하여 시뮬레이션에서 실제 환경으로의 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 무작위 시점 마스킹을 포함한 다중 시점 마스킹 오토인코딩이 시각 제어에 유용한 내부 시점 및 교차 시점 정보를 포착하는 표현을 학습할 수 있는가?
• RQ2 제안된 방법이 다중 시점 및 단일 시점 로봇 조작 작업에서 단일 시점 및 다중 시점 대조적 표현 학습 기준선보다 우수한 성능을 보일 수 있는가?
• RQ3 시점에 강건한 표현 학습을 통해 훈련된 정책이 카메라 캘리브레이션 또는 도메인 적응 없이도 실제 로봇 조작에 일반화될 수 있는가?
• RQ4 손으로 들거나 진동하는 카메라와 같은 동적 또는 불안정한 카메라 설정을 다룰 때 이 방법은 얼마나 효과적인가?
• RQ5 제안된 표현 학습 방식이 강화학습 및 이민 학습 설정 모두에서 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• MV-MWM는 RLBench 시뮬레이션 환경에서 모든 작업에서 단일 시점 표현 학습 기준선(예: ViT, MoCo, SimCLR)과 다중 시점 대조적 기준선(Sermanet et al., 2018)을 모두 초월한다.
• 행동 복제 작업에서 MWM 기준선 대비 14.35%p 향상되어, 시점 마스킹을 통한 다중 시점 표현 학습의 유용성을 입증한다.
• MV-MWM는 카메라 캘리브레이션 또는 적응 절차 없이도 실제 로봇 조작 작업으로의 정책 시뮬레이션에서 실제 환경으로의 전이를 성공적으로 가능하게 한다.
• 시점 랜덤라이제이션을 통해 훈련된 정책은 손으로 들거나 불안정한 카메라 설정과 같은 실제 환경 조건에서도 강건하게 일반화되며, 강력한 시각 서보 성능을 보여준다.
• 시점 마스킹 기법 자체만으로도 행동 복제 작업에서 성능이 6.56%p 향상되었으며(57.92%에서 64.48%로), 표현 학습에서의 효과를 확인한다.
• 이 프레임워크는 다중 시점 제어, 보조 카메라를 활용한 단일 시점 제어, 시점에 강건한 제어 등 다양한 설정을 지원하여 광범위한 적용 가능성을 입증한다.