[논문 리뷰] PolarNet: 3D Point Clouds for Language-Guided Robotic Manipulation

Shizhe Chen, Ricardo García외 2명|arXiv (Cornell University)|2023. 09. 27.

Multimodal Machine Learning Applications참고 문헌 50인용 수 4

한 줄 요약

PolarNet는 다중 시점 포인트 클라우드 융합, 효율적인 PointNext 인코딩, 다중 모odal 트랜스포머를 활용하여 3D 포인트 클라우드 기반의 언어 유도 로봇 조작 정책을 제안한다. 7-DoF 동작을 예측하며, RLBench에서 단일 및 다중 작업 설정 모두에서 최신 기술 수준(SOTA) 성능을 달성하고, 실제 작업에서 평균 60% 성공률을 기록하여 시점 변화에 대한 강건성과 데이터 효율성을 입증한다.

ABSTRACT

The ability for robots to comprehend and execute manipulation tasks based on natural language instructions is a long-term goal in robotics. The dominant approaches for language-guided manipulation use 2D image representations, which face difficulties in combining multi-view cameras and inferring precise 3D positions and relationships. To address these limitations, we propose a 3D point cloud based policy called PolarNet for language-guided manipulation. It leverages carefully designed point cloud inputs, efficient point cloud encoders, and multimodal transformers to learn 3D point cloud representations and integrate them with language instructions for action prediction. PolarNet is shown to be effective and data efficient in a variety of experiments conducted on the RLBench benchmark. It outperforms state-of-the-art 2D and 3D approaches in both single-task and multi-task learning. It also achieves promising results on a real robot.

연구 동기 및 목표

• 언어 유도 로봇 조작에서 2D 이미지 기반 정책의 한계, 즉 부족한 3D 공간 인식 능력과 시점 변화에 대한 민감성 문제를 해결하기 위해.
• 다중 작업 설정에서 언어 지시어와 정밀한 3D 동작 예측을 통합하기 위해 3D 포인트 클라우드 표현의 효과성을 탐색하기 위해.
• 통합된 3D 포인트 클라우드 입력을 사용하여 다양한 조작 작업 간에 일반화 가능한 효율적이고 데이터 효율적이며 강건한 정책을 설계하기 위해.
• 2D 이미지 기반 방법에 비해 3D 포인트 클라우드의 기하학적 일관성을 활용하여 카메라 시점 변화에 대한 강건성을 향상시키기 위해.
• 실제 로봇에 대한 구현을 가능하게 하기 위해 실물 로봇 시연 데이터를 통한 피니팅을 통해 언어 조건 정책을 개선하기 위해.

제안 방법

• 교정된 외부 파rameter를 사용하여 다중 시점 RGB-D 카메라에서 통합된 3D 포인트 클라우드를 생성하며, 색상 및 깊이 특징을 포함한다.
• 불필요한 포인트(예: 배경, 로봇 부품)를 제거하여 표현 품질을 향상시키기 위해 포인트 클라우드 필터링을 적용한다.
• 희박한 3D 포인트 클라우드를 효율적으로 처리하기 위해 局부 및 전역적 맥락 모델링을 수행하는 PointNext를 백본 인코더로 활용한다.
• 다중 모달 트랜스포머를 사용하여 인코딩된 포인트 클라우드 특징과 토큰화된 언어 지시어를 동시에 고려하여 다중 모달 융합을 수행한다.
• 모션 플래너에 의해 실행 가능한 헤드 네트워크를 통해 7-DoF 동작(3D 위치, 3D 회전, 그립퍼 열림/닫힘)을 예측한다.
• 감독된 시연 데이터를 기반으로 RLBench 벤치마크에서 애널로그 학습을 통해 엔드 투 엔드로 훈련하고, 실물 로봇 데이터를 통한 피니팅을 수행한다.

실험 결과

연구 질문

• RQ1 다중 작업 및 다양한 변형 설정에서 3D 포인트 클라우드 표현이 2D 이미지 기반 방법보다 언어 유도 로봇 조작에서 우월한가?
• RQ2 포인트 클라우드 입력의 설계, 예를 들어 좌표계, 특징 조합, 시점 융합 방식 등이 정책 성능에 미치는 영향은 어떠한가?
• RQ3 3D 포인트 클라우드 기반 정책이 다양한 조작 작업 간에 얼마나 잘 일반화되고, 시점 변화에 어떻게 대처하는가?
• RQ4 제한된 실물 데이터로도 3D 포인트 클라우드 기반 정책이 실제 로봇 하드웨어에서 높은 성공률을 달성할 수 있는가?
• RQ5 카메라 자세 변화에 대한 모델의 강건성은 2D 이미지 기반 기준 모델에 비해 어떻게 비교되는가?

주요 결과

• PolarNet는 다중 작업, 다중 변형 RLBench 설정(18개 작업, 249개 변형)에서 78.3%의 성공률을 기록하여 이전의 2D 및 3D 방법을 모두 초월한다.
• 다중 작업 설정에서 이전 모델 대비 +11.1% 향상된 성능을 기록하여 다양한 작업 간 강력한 일반화 능력을 입증한다.
• PerAct 대비 훈련 속도가 13배 빠르며, 4장의 V100 GPU에서 30시간으로 훈련이 가능하며, 8장의 V100 GPU에서 16일이 소요되는 PerAct에 비해 빠른 편이다.
• 실제 작업에서 각 작업당 20명의 인간 시연 데이터를 피니팅한 후, 7개 작업 평균 60%의 성공률을 기록한다.
• 시점 변화에 대한 평가에서, Hiveformer(2D 기반)에 비해 성능 저하가 현저히 적어, 카메라 설치 위치 변화에 대한 강건성을 확인한다.
• 실패 사례는 주로 물체 혼동(예: 딸기 vs. 사과)과 정확하지 않은 그립퍼 자세 예측으로 인해 발생하며, 이는 의미적 정밀도 및 공간 정밀도의 한계를 시사한다.