[논문 리뷰] RVT: Robotic View Transformer for 3D Object Manipulation

Ankit Goyal, Jie Xu외 4명|arXiv (Cornell University)|2023. 06. 26.

Advanced Vision and Imaging인용 수 6

한 줄 요약

RVT는 재렌더링된 가상 시점들을 사용하는 다중 시점 트랜스포머를 활용해 확장 가능하고 시점 기반인 3D 조작 프레임워크를 제안한다. 이는 복소체 기반 방법보다 성능을 향상시킨다. RLBench의 18개 작업에서 PerAct 대비 26% 높은 성공률을 기록하며, 훈련 속도는 36배 빠르고 추론 속도는 2.3배 빠르며, 작업당 약 10개의 시범 예제만으로도 실제 작업에 일반화된다.

ABSTRACT

For 3D object manipulation, methods that build an explicit 3D representation perform better than those relying only on camera images. But using explicit 3D representations like voxels comes at large computing cost, adversely affecting scalability. In this work, we propose RVT, a multi-view transformer for 3D manipulation that is both scalable and accurate. Some key features of RVT are an attention mechanism to aggregate information across views and re-rendering of the camera input from virtual views around the robot workspace. In simulations, we find that a single RVT model works well across 18 RLBench tasks with 249 task variations, achieving 26% higher relative success than the existing state-of-the-art method (PerAct). It also trains 36X faster than PerAct for achieving the same performance and achieves 2.3X the inference speed of PerAct. Further, RVT can perform a variety of manipulation tasks in the real world with just a few ($\sim$10) demonstrations per task. Visual results, code, and trained model are provided at https://robotic-view-transformer.github.io/.

연구 동기 및 목표

• 복소체 기반 접근 방식보다 성능과 훈련 효율성 측면에서 뛰어난 확장 가능하고 정확한 3D 물체 조작 방법을 개발하는 것.
• 다양한 시점 간의 정보를 효과적으로 통합할 수 있는 다중 시점 트랜스포머를 도입하여 시점 기반 방법의 3D 추론 한계를 해결하는 것.
• 재렌더링된 가상 시점과 강력한 시각적 특징 학습을 활용해 최소한의 시범 예제로도 실제 환경에 구현 가능한 방법을 제공하는 것.
• 렌더링을 통해 센서 카메라 입력을 트랜스포머 입력에서 분리함으로써 물리적 카메라 제약과 무관한 유연하고 작업별 최적화된 시점 선택을 가능하게 하는 것.

제안 방법

• RVT는 장면의 여러 재렌더링된 시점을 동시에 고려하여 공간적 및 의미적 정보를 통합하는 다중 시점 트랜스포머 아키텍처를 사용한다.
• 모델은 RGB-D 입력을 처리하고, 작업에 적합한 3D 추론을 위해 최적화된 가상의 시점(예: 정면 또는 상단 시점)에서 장면을 재렌더링한다.
• 두 단계의 어텐션 메커니즘을 사용한다: 먼저 각 이미지의 패치 내에서 어텐션을 수행하고, 그 다음 모든 시점 간의 교차 시점 어텐션을 통해 특징 표현을 향상시킨다.
• 네트워크는 시점별 히트맵과 특징을 출력하며, 이를 바탕으로 로봇의 종단 효과기 자세를 예측하여 3D 공간에서 정밀 제어를 가능하게 한다.
• 재렌더링은 미분 가능한 렌더러를 사용하여 수행되며, 엔드 투 엔드 훈련이 가능하고, 직교 투영 및 데이터 증강 기법을 활용할 수 있다.
• 단일 카메라 환경에서도 가상의 시점에서 재렌더링함으로써 실제 환경에서 단일 카메라로의 구현을 지원한다.

실험 결과

연구 질문

• RQ1 시점 기반 방법이 이미지 기반 방법의 확장성과 동시에 최신 기술 성능을 달성할 수 있는가?
• RQ2 원시 센서 카메라 입력 대비 가상 시점에서 재렌더링한 결과가 성능 향상에 어떻게 기여하는가?
• RQ3 다중 시점 트랜스포머 아키텍처에서 어텐션 순서와 시점 선택 등의 설계 선택 사항이 조작 정확도를 극대화하는 데 어떻게 기여하는가?
• RQ4 단일 RVT 모델이 최소한의 실제 환경 시범 예제로 다양한 3D 조작 작업에 일반화될 수 있는가?

주요 결과

• RVT는 18개의 RLBench 작업과 249개의 작업 변형에서 PerAct 대비 26% 높은 상대적 성공률을 기록하여 뛰어난 일반화 능력과 정확도를 입증한다.
• RVT는 동일 하드웨어에서 PerAct 대비 훈련 시간을 14일에서 10시간으로 단축하여 훈련 속도가 36배 빨라진다. 이는 최고 성능에 도달하는 데에도 기여한다.
• RVT는 추론 속도가 PerAct 대비 2.3배 빠르며, 11.6 fps 대비 4.9 fps를 기록하여 실시간 구현이 가능하다.
• 실제 환경 실험에서 RVT는 블록 쌓기 작업에서 100% 성공률, 손세정제 펌프 누르기 작업에서 80% 성공률를 기록했으며, 작업당 약 10개의 시범 예제만으로도 달성했다.
• 마커가 없는 작업에서는 82.5%의 성공률를 기록했으며, 흐린 점군과 노이즈가 많은 마커 관련 작업에서는 성능이 낮았다.
• 재렌더링된 가상 시점의 사용은 원시 센서 시점 대비 성능 향상에 크게 기여하며, 특히 직교 투영과 데이터 증강 기법과 조합했을 때 두드러진 성능 향상을 보였다.