[논문 리뷰] DONet: Learning Category-Level 6D Object Pose and Size Estimation from Depth Observation.

Haitao Lin, Zichang Liu외 4명|arXiv (Cornell University)|2021. 06. 27.

Robot Manipulation and Learning참고 문헌 46인용 수 6

한 줄 요약

이 논문은 실세계의 자세 레이블이 부여된 훈련 데이터가 필요 없이 깊이 영상만을 사용하여 카테고리 수준의 6D 물체 자세 및 크기 추정을 수행하는 DONet를 제안한다. 3D-OCR를 통해 자세 일致성 있는 3D 표현 학습을 하고, GeoReS를 통해 기하 대칭 제약을 강제로 적용하며, MPDE를 통해 거울 대칭 패턴을 이용한 크기 및 중심 추정을 수행하여 NOCS 벤치마크에서 최신 기술 수준의 성능을 달성하고, 알려지지 않은 카테고리 내 물체에 대한 로봇 조작도 성공적으로 수행한다.

ABSTRACT

We propose a method of Category-level 6D Object Pose and Size Estimation (COPSE) from a single depth image, without external pose-annotated real-world training data. While previous works exploit visual cues in RGB(D) images, our method makes inferences based on the rich geometric information of the object in the depth channel alone. Essentially, our framework explores such geometric information by learning the unified 3D Orientation-Consistent Representations (3D-OCR) module, and further enforced by the property of Geometry-constrained Reflection Symmetry (GeoReS) module. The magnitude information of object size and the center point is finally estimated by Mirror-Paired Dimensional Estimation (MPDE) module. Extensive experiments on the category-level NOCS benchmark demonstrate that our framework competes with state-of-the-art approaches that require labeled real-world images. We also deploy our approach to a physical Baxter robot to perform manipulation tasks on unseen but category-known instances, and the results further validate the efficacy of our proposed model. Our videos are available in the supplementary material.

연구 동기 및 목표

• 실세계 자세 레이블이 부여된 훈련 데이터에 의존하지 않고 카테고리 수준의 6D 물체 자세 및 크기 추정 문제를 해결한다.
• RGB 모odal리티에 의존하지 않고 깊이 영상에서 풍부한 기하 정보를 활용하여 물체 자세 및 크기를 추론한다.
• 대칭성 및 자세 일관성과 같은 기하 사전 지식을 통합하여 일반화 성능을 향상시키는 통합 프레임워크를 개발한다.
• 실세계 로봇 조작 작업에서 알려지지 않은 카테고리 내 인스턴스에 대해 제로샷 일반화를 가능하게 한다.
• 알려지지 않은 물체를 사용하여 실제 봇인 Baxter에 배포하여 내구성과 실용성을 입증한다.

제안 방법

• 물체 자세에 대해 일관된 3D 표현을 학습하기 위해 3D-OCR(3D 자세 일관성 표현) 모듈을 도입한다.
• 깊이 기하학적 정보에서 유도된 대칭 제약을 강제로 적용하기 위해 GeoReS(기하 제약 반사 대칭) 모듈을 활용한다.
• 깊이 데이터 내 대칭 기하 패턴을 이용해 크기 및 중심점을 예측하기 위해 MPDE(Mirror-Paired Dimensional Estimation) 모듈을 사용한다.
• 실세계 자세 레이블이 필요 없이 합성 또는 자기 지도 학습에 기반한 지도 신호를 통해 전체 프레임워크를 엔드 투 엔드로 훈련한다.
• 깊이 영상의 기하학적 구조를 활용하여 명시적 카테고리별 미세조정 없이도 카테고리 수준의 사전 지식을 암묵적으로 학습한다.
• 모든 구성 요소를 하나의 통합 네트워크로 통합하여 단일 깊이 입력에서 6D 자세(위치, 자세) 및 크기를 동시에 추정한다.

실험 결과

연구 질문

• RQ1 실세계 자세 레이블이 부여된 데이터가 없이 깊이 영상만으로 6D 물체 자세 및 크기 추정을 정확하게 수행할 수 있는가?
• RQ2 반사 대칭성 및 자세 일관성과 같은 기하 사전 지식이 카테고리 수준의 일반화 성능 향상에 얼마나 효과적인가?
• RQ3 깊이 기반 방법이 RGB 기반 최신 기술 수준의 접근 방식과 비교해 어느 정도의 성능을 달성할 수 있는가?
• RQ4 실세계 로봇 조작 과정에서 알려지지 않은 인스턴스에 대해 이러한 모델이 동일 카테고리 내에서 일반화 가능한가?
• RQ5 3D-OCR, GeoReS, MPDE 각 구성 요소가 최종 추정 성능에 개별적으로 및 종합적으로 기여하는 바는 어떠한가?

주요 결과

• DONet는 RGB와 실세계 자세 레이블이 부여된 데이터에 의존하는 최신 기술 수준의 방법들과 비교해도 경쟁 가능한 성능을 달성하며, NOCS 벤치마크에서 최고 성능을 기록한다.
• 알려지지 않은 인스턴스에 대해 효과적으로 일반화되며, 강력한 제로샷 일반화 능력을 입증한다.
• 특히 대칭성 또는 구조적 특징이 뚜렷한 물체의 경우 기하 사전 지식(특히 GeoReS 및 MPDE)의 통합이 추정 정확도를 크게 향상시킨다.
• 실제 물리적 봇인 Baxter에 배포하여 알려지지 않은 카테고리 내 물체에 대한 성공적인 조작을 수행함으로써 실용성과 적용 가능성을 입증한다.
• 제거 실험(ablation study) 결과 각 구성 요소(3D-OCR, GeoReS, MPDE)가 최종 성능에 의미 있는 기여를 하며, 전체 모델이 제거된 변형보다 뛰어난 성능을 보인다.
• 정량적 결과를 통해 NOCS 벤치마크에서 높은 mAP 및 mRE 스코어를 기록하여 자세 및 크기 추정 양쪽 모두에서 높은 정확도를 확보한다.