[논문 리뷰] Towards Self-Supervised Category-Level Object Pose and Size Estimation

Yisheng He, Haoqiang Fan외 3명|arXiv (Cornell University)|2022. 03. 06.

Robotics and Sensor-Based Localization인용 수 9

한 줄 요약

이 논문은 단일 깊이 이미지에서 카테고리 수준의 객체 자세 및 크기 추정을 위한 자기지도 학습 프레임워크를 제안한다. 이는 고비용의 6자리 자세 레이블이 필요로 하지 않도록 한다. 기하 일관성을 강제하기 위해, 미분 가능 형태 변형, 점군 정렬, 그리고 미분 가능 렌더링을 조합함으로써, 렌더링된 점군과 관측된 점군 간의 기하 일관성을 확보하여, 실제 데이터셋에서 완전지도 학습 방법과 경쟁 가능한 성능을 달성한다.

ABSTRACT

In this work, we tackle the challenging problem of category-level object pose and size estimation from a single depth image. Although previous fully-supervised works have demonstrated promising performance, collecting ground-truth pose labels is generally time-consuming and labor-intensive. Instead, we propose a label-free method that learns to enforce the geometric consistency between category template mesh and observed object point cloud under a self-supervision manner. Specifically, our method consists of three key components: differentiable shape deformation, registration, and rendering. In particular, shape deformation and registration are applied to the template mesh to eliminate the differences in shape, pose and scale. A differentiable renderer is then deployed to enforce geometric consistency between point clouds lifted from the rendered depth and the observed scene for self-supervision. We evaluate our approach on real-world datasets and find that our approach outperforms the simple traditional baseline by large margins while being competitive with some fully-supervised approaches.

연구 동기 및 목표

• 카테고리 수준의 객체 자세 및 크기 추정에서 높은 레이블링 비용 문제, 특히 6자리 자세 레이블에 기인한 과제를 해결하기 위해.
• 대규모의 레이블이 없는 깊이 데이터를 활용하여 자기지도 학습을 위한 레이블 없는 학습 프레임워크를 개발하기 위해.
• 템플릿 메쉬와 관측된 환경 간의 부분적에서 완전한 불일치를 분리하기 위해.
• 정밀한 CAD 모델에 의존하지 않고도 내부 클래스의 형태 변화에 대해 일반화 능력을 향상시키기 위해.
• 완전지도 학습 방법과 비교하여 경쟁 가능한 성능을 달성하기 위해 자기지도 학습만을 사용하기 위해.

제안 방법

• 모수화된 점군을 사용하여, 카테고리 템플릿 메쉬를 목표 객체의 형태에 맞게 변형하는 미분 가능 형태 변형 네트워크를 훈련한다.
• 부분에서 완전한 정렬 네트워크는 변형된 메쉬 점들을 관측된 환경의 점군과 정렬하여 자세와 스케일을 추정한다.
• 변형 및 변형된 메쉬에서 유도된 깊이 이미지를 생성하기 위해, 미분 가능 렌더러를 사용한다.
• 렌더링된 점군과 관측된 점군 간의 기하 일관성을 자기지도 손실을 통해 강제하여 재구성 오차를 최소화한다.
• 렌더링 아티팩트를 방지하기 위해 외향 정규 벡터를 유지하기 위해, 정규 일관성 손실을 도입한다.
• 다중 척도 기하 구조 강화를 통해 국소 및 전역 기하적 맥락을 활용하여 변형을 안내한다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 카테고리 수준의 객체 자세 및 크기 추정에서 완전지도 학습을 효과적으로 대체할 수 있는가?
• RQ2 약한 지도 학습 환경에서 형태, 자세, 스케일의 변동을 어떻게 분리할 수 있는가?
• RQ3 어느 정도까지, 조잡한 점군이 메쉬 변형을 위한 지도 레이블로 지형 메쉬의 지도 레이블을 대체할 수 있는가?
• RQ4 변형 과정에서 정규 일관성이 렌더링 품질과 후속 성능에 어떤 영향을 미치는가?
• RQ5 한 카테고리 내 다양한 객체 인스턴스에 대해 단일 템플릿 메쉬가 일반화될 수 있는가?

주요 결과

• 제안된 방법은 YCB-Video 데이터셋에서 기존의 전통적 베이스라인에 비해 큰 성능 향상을 보이며, 무작위 템플릿 메쉬를 사용한 변형 후 평균 CD 오차가 2.40×10−3에 도달한다.
• 조잡한 점군을 지도로 사용할 경우, 평균 카메라 디스턴스(CD)는 2.00×10−3로 감소하여 지도 레이블이 있는 메쉬 지도 학습 성능(1.93×10−3)에 근접한다.
• 정규 일관성 손실은 CD 오차를 0.08×10−3 감소시키며, IoU@75 AP를 0.5% 향상시켜 렌더링 아티팩트를 크게 줄였다.
• 메쉬 변형 네트워크는 다양한 템플릿 메쉬에 대해 강력하게 일반화되며, 무작위 템플릿에서 CD 오차를 50% 감소시켜 이전 템플릿 성능과 유사하게 유지한다.
• 지상 진술 자세 레이블이 전혀 없는 상황에서도 일부 완전지도 학습 방법과 경쟁 가능한 성능을 달성한다.
• 전체 파이프라인은 실시간으로 작동하며, 단일 GPU에서 한 객체당 추론 시간이 727ms 이내이다 (변형 23ms, 정렬 696ms, 렌더링 8ms).