[논문 리뷰] VIOLA: Imitation Learning for Vision-Based Manipulation with Object Proposal Priors

Yifeng Zhu, Abhishek Joshi외 2명|arXiv (Cornell University)|2022. 10. 20.

Robot Manipulation and Learning인용 수 12

한 줄 요약

VIOLA는 시각 기반 로봇 조작을 위한 객체 중심의 타도 학습 프레임워크를 제안하며, 사전 훈련된 객체 제안을 사용해 분해된 시각 표현을 구축하고, 트랜스포머 정책이 이를 처리한다. 시뮬레이션에서는 SOTA 기준 대비 45.8% 높은 성공률을 기록하고 실제 로봇에서는 46.7% 높은 성능를 보이며, 시각적 변동성과 커피 만들기, 식탁 정리와 같은 복잡한 장기 작업에 대해 뛰어난 내성성을 입증한다.

ABSTRACT

We introduce VIOLA, an object-centric imitation learning approach to learning closed-loop visuomotor policies for robot manipulation. Our approach constructs object-centric representations based on general object proposals from a pre-trained vision model. VIOLA uses a transformer-based policy to reason over these representations and attend to the task-relevant visual factors for action prediction. Such object-based structural priors improve deep imitation learning algorithm's robustness against object variations and environmental perturbations. We quantitatively evaluate VIOLA in simulation and on real robots. VIOLA outperforms the state-of-the-art imitation learning methods by $45.8\%$ in success rate. It has also been deployed successfully on a physical robot to solve challenging long-horizon tasks, such as dining table arrangement and coffee making. More videos and model details can be found in supplementary material and the project website: https://ut-austin-rpl.github.io/VIOLA .

연구 동기 및 목표

• 공변이동과 환경적 요동에 노출된 시각 기반 타도 학습의 내성성을 향상시키기 위해.
• 객체 중심 표현을 활용해 시각-운동 정책가 작업에 관련된 시각적 요소에 집중할 수 있도록 하기 위해.
• 사전 훈련된 모델에서 유도한 일반적인 객체 제안을 사용해 고비용의 객체 주석에 대한 의존도를 줄이기 위해.
• 실제 세계의 장기 작업에서 제한된 시범 데이터로부터 효과적으로 학습할 수 있도록 하기 위해.
• 아블레이션 및 실제 로봇 배포를 통해 객체 중심 사전 지식의 효과성을 검증하기 위해.

제안 방법

• RGB 관측에서 일반적인 객체 제안을 생성하기 위해 사전 훈련된 영역 제안 네트워크(RPN)를 사용한다.
• 각 제안에서 시각적 및 위치적 특징을 추출하여 분해된, 객체 중심의 장면 표현을 구성한다.
• 객체 표현을离산 토큰으로 변환하여 멀티헤드 자기주의를 갖는 트랜스포머 인코더의 입력으로 사용한다.
• 작업에 관련된 영역 기반으로 행동을 예측하기 위해 지도 타도 학습을 통해 트랜스포머 정책을 종합적으로 훈련한다.
• 공간적 추론을 위해 객체 중심 표현에 전반적인 장면 맥락과 로봇 상태 특징을 통합한다.
• 실제 환경 평가에서 A/B 테스트를 도입하여 시험 설정 및 실행 시 인간의 편향을 최소화한다.

실험 결과

연구 질문

• RQ1 일반적인 객체 제안에서 유도된 객체 중심 표현이 시각 기반 타도 학습에서 일반화 성능을 향상시키는가?
• RQ2 자기주의를 갖는 트랜스포머 기반 정책이 종단 간 모델 대비 작업에 관련된 시각적 요소에 집중하는 데 어떻게 향상되는가?
• RQ3 객체 제안이 객체 배치 변화, 간섭 물체, 카메라 자세 이동에 대해 얼마나 높은 내성성을 제공하는가?
• RQ4 50개의 시범만으로도 장기적인 실제 작업에 일반화 가능한가?
• RQ5 VIOLA 아키텍처의 개별 구성 요소가 성능에 기여하는 정도는 어떻게 확인되는가? (아블레이션 연구를 통해 검증함)

주요 결과

• VIOLA는 다양한 외부 요동 설정에서 SOTA 기준인 BC-RNN 대비 45.8% 높은 성공률을 기록한다.
• 실제 로봇에서는 다단계 커피 만들기 포함한 세 가지 복잡한 작업에서 BC-RNN 대비 평균 성공률 46.7% 높게 기록한다.
• 카메라 시야가 진동하는 등의 시각적 변동성 상황에서도 안정적인 성능 유지를 보이며, 종단 간 방법은 목표 물체에 도달하지 못한다.
• 주의 시각화 결과 VIOLA가 동적으로 관련 객체(예: k-컵, 커피 머신)에 주목하고 로봇 상태를 통합해 공간적 추론을 수행함을 확인했다.
• 아블레이션 연구 결과 객체 제안 모듈과 트랜스포머 정책이 성능 향상에 핵심적임을 입증하였으며, 각각 제거할 경우 성공률이 크게 감소함.
• VIOLA는 단지 50개의 인간 시범만으로도 식탁 정리, 커피 만들기와 같은 실제 작업에 성공적으로 일반화되었으며, 기준 방법은 완전히 실패함.