[논문 리뷰] A Universal Semantic-Geometric Representation for Robotic Manipulation

Tong Zhang, Yingdong Hu외 3명|arXiv (Cornell University)|2023. 06. 18.

Human Pose and Action RecognitionComputer Science인용 수 3

한 줄 요약

이 논문은 2D RGB 이미지에서 사전 훈련된 세분적 특징과 깊이 포인트 클라우드에서 유도된 3D 기하학적 특징을 세트 추상화 블록을 사용해 융합하는 유니버설 인식 모듈인 의미-기하 표현(Semantic-Geometric Representation, SGR)을 제안한다. SGR는 시뮬레이션 및 실제 로봇 조작 작업 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, 색상과 형태와 같은 훈련 중에 볼 수 없었던 새로운 의미적 속성으로의 제로샷 일반화를 가능하게 하며, R3M, CLIP, PerAct 등의 방법과 비교해 단일 및 다중 작업 설정에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Robots rely heavily on sensors, especially RGB and depth cameras, to perceive and interact with the world. RGB cameras record 2D images with rich semantic information while missing precise spatial information. On the other side, depth cameras offer critical 3D geometry data but capture limited semantics. Therefore, integrating both modalities is crucial for learning representations for robotic perception and control. However, current research predominantly focuses on only one of these modalities, neglecting the benefits of incorporating both. To this end, we present $ extbf{Semantic-Geometric Representation} ( extbf{SGR})$, a universal perception module for robotics that leverages the rich semantic information of large-scale pre-trained 2D models and inherits the merits of 3D spatial reasoning. Our experiments demonstrate that SGR empowers the agent to successfully complete a diverse range of simulated and real-world robotic manipulation tasks, outperforming state-of-the-art methods significantly in both single-task and multi-task settings. Furthermore, SGR possesses the capability to generalize to novel semantic attributes, setting it apart from the other methods. Project website: https://semantic-geometric-representation.github.io.

연구 동기 및 목표

• 2D 시각 모델에서 유래한 풍부한 의미 이해 능력과 깊이 데이터에서 유도된 정밀한 3D 공간 추론 능력을 결합하는 통합 표현을 개발하는 것.
• 현재의 방법들이 단지 2D 또는 3D 표현에 집중함으로써 복잡한 실제 환경에서의 일반화 능력을 저해하는 한계를 극복하는 것.
• 훈련 중에 볼 수 없었던 새로운 의미적 속성(예: 색상, 형태 등)으로의 제로샷 일반화를 가능하게 하는 것.
• 작업에 특화된 설계 없이 다양한 조작 작업에 적용 가능한 확장 가능한 종단 간 시각-운동 제어 프레임워크를 구축하는 것.
• SGR의 효과성을 다중 시점 및 단일 시점 설정 모두에서 검증하며, 프랭카 에미카 파나 로봇에 대한 실제 환경 구현도 포함한다.

제안 방법

• RGB 이미지에서 의미적 특징 맵을 추출하기 위해 대규모 사전 훈련된 2D 시각 기초 모델을 활용한다.
• 2D 의미적 특징을 3D 공간으로 역투영하고, 포인트 기반 네트워크(예: PointNeXt)를 통해 추출된 3D 포인트 클라우드 특징과 융합한다.
• 세트 추상화(SA) 블록을 사용해 2D 의미와 3D 기하학 간의 교차 모odal 상호작용을 공동으로 모델링함으로써 공동 추론을 가능하게 한다.
• 융합된 SGR 특징을 입력으로 사용해 RLBench 벤치마크에서 행동 클로닝을 통해 제어 정책을 훈련한다.
• RGB 색상 정보는 필요할 경우에만 기하학적 브랜치에 통합하지만, 색상 포인트 클라우드에 대한 사전 훈련이 없기 때문에 성능 저하가 발생함을 보여준다.
• 사전 훈련된 인코더를 무작위 초기화된 것으로 교체하여 사전 훈련의 중요성을 분석함으로써, 일반화에 있어 사전 훈련의 핵심적 역할을 입증한다.

실험 결과

연구 질문

• RQ1 2D 의미 정보와 3D 기하학 정보를 융합하는 통합 표현이 로봇 조작 작업의 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 제안된 SGR 모델이 훈련 중에 볼 수 없었던 새로운 의미적 속성(예: 새로운 색상 또는 형태)으로 일반화되는가?
• RQ3 단일 시점 대비 다중 시점 카메라 설정에서 SGR의 성능, 특히 기하학적 이해 능력 측면에서 어떻게 되는가?
• RQ4 대규모 데이터에서의 사전 훈련이 초기화 없이 훈련하는 것에 비해 일반화 능력을 얼마나 향상시키는가?
• RQ5 작업에 특화된 적응 없이도 SGR이 실제 환경 구현에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 다중 작업 학습에서 SGR는 RLBench 벤치마크에서 68.6%의 성공률을 기록하여 R3M(17.6%), CLIP(30.2%), PerAct(54.7%)를 크게 앞서나간다.
• 단일 작업 학습에서 SGR는 8개 작업 평균으로 75.7%의 성공률을 기록하며, 동일한 설정에서 CLIP(56.0%)와 R3M(38.0%)를 초월한다.
• 프랭카 에미카 파나 로봇에 대한 실제 환경에서 SGR는 시각적 혼란 요소가 있는 작업에서 강력한 베이스라인인 PerAct를 능가하며, 복잡한 실제 환경에서도 강건함을 입증한다.
• 단일 시점 설정(전면 카메라만 사용)에서도 SGR는 평균 55.3%의 성공률을 유지하며, CLIP(29.7%)와 R3M(31.5%)를 능가하지만, 기하학적 정보가 감소한 점을 감안할 때 뚜렷한 성능 우월성을 보인다.
• 제거 실험 결과, 사전 훈련된 인코더를 제거하면 성능에 뚜렷한 하락이 발생함을 확인하여, 일반화에 있어 사전 훈련의 중요성을 입증한다.
• 기하학적 브랜치에 RGB 색상을 추가하면 성능 저하가 발생함을 확인하여, 색상 포인트 클라우드에 대한 사전 훈련이 이루어지지 않은 경우 모델이 비의미적인 특징에 민감하게 반응함을 시사한다.