[논문 리뷰] Unseen Object 6D Pose Estimation: A Benchmark and Baselines

Minghao Gou, Haolin Pan외 4명|arXiv (Cornell University)|2022. 06. 23.

Robot Manipulation and Learning인용 수 9

한 줄 요약

이 논문은 훈련 중에 볼 수 없었던 객체에 대해 재학습 없이 메시 모델만을 사용하여 6차원 자세를 예측해야 하는 새로운 벤치마크와 베이스라인을 제안한다. 3차원 대응점 네트워크를 엔드 투 엔드로 사용하여 새로운 객체와 부분적인 RGBD 장면 간의 조밀한 대응점을 탐지한 후, 견고한 자세 추정을 수행하는 이중 단계 방법을 제안한다. 제안된 방법은 새로운 IADD 지표를 사용하여 서로 다른 테스트 서브셋에서 기준선 대비 각각 20.3, 14.9, 9.7의 AUC 향상을 달성하였으며, 자세의 다중해를 고려하지 않는다는 점에서 불변이다.

ABSTRACT

Estimating the 6D pose for unseen objects is in great demand for many real-world applications. However, current state-of-the-art pose estimation methods can only handle objects that are previously trained. In this paper, we propose a new task that enables and facilitates algorithms to estimate the 6D pose estimation of novel objects during testing. We collect a dataset with both real and synthetic images and up to 48 unseen objects in the test set. In the mean while, we propose a new metric named Infimum ADD (IADD) which is an invariant measurement for objects with different types of pose ambiguity. A two-stage baseline solution for this task is also provided. By training an end-to-end 3D correspondences network, our method finds corresponding points between an unseen object and a partial view RGBD image accurately and efficiently. It then calculates the 6D pose from the correspondences using an algorithm robust to object symmetry. Extensive experiments show that our method outperforms several intuitive baselines and thus verify its effectiveness. All the data, code and models will be made publicly available. Project page: www.graspnet.net/unseen6d

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 객체에 대해 재학습 없이 6차원 자세 추정을 가능하게 하여 현재의 방법들이 매번 새로운 객체에 대해 재학습이 필요하다는 한계를 해결한다.
• 실제 세계의 테스트 장면과 합성 데이터를 포함한 현실적인 벤치마크를 개발하여, 이 분야에서의 평가 기준을 표준화한다. 이는 48개의 새로운 객체를 포함한다.
• 자세의 다중해에 영향을 받지 않는 새로운 평가 지표인 Infimum ADD(IADD)를 제안하여 대칭성이 다른 객체들 간의 공정한 비교를 가능하게 한다.
• 연구를 가속화하기 위해 공개된 데이터셋, 코드, 모델을 제공한다.

제안 방법

• 이중 단계 프레임워크를 제안한다: 첫 번째 단계에서 3차원 대응점 탐지 네트워크는 새로운 객체의 메시와 부분적인 RGBD 장면의 점군을 입력으로 받아 조밀한 3차원 대응점을 예측한다.
• 네트워크는 다중 태스크 손실을 통해 엔드 투 엔드로 훈련되며, 객체 세그먼테이션과 객체 및 장면 간의 대응점 예측을 동시에 수행한다.
• 두 번째 단계에서는 EPOS에 영감을 얻은 견고한 알고리즘을 사용하여 탐지된 3차원 대응점에서 6차원 자세를 계산한다. 이는 객체의 대칭성을 효과적으로 다룬다.
• 학습 가능한 어텐션 메커니즘을 공간 점 네트워크(SPNe)에 통합하여 노이즈와 부분 관측 상황에서도 대응점 매칭 성능을 향상시킨다.
• 제안된 IADD 지표는 모든 대칭 자세에 대해 가능한 최소 ADD 오차를 계산하여 일관되고 불변인 평가 기준을 제공한다.
• 벤치마크는 기존 데이터셋을 기반으로 하며, 1000개 이상의 훈련용 객체, 1500개의 훈련용 장면, 90개의 실제 테스트 장면(48개의 새로운 객체 포함)을 포함한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 재학습 없이 메시 모델만을 사용하여 새로운 객체의 6차원 자세를 일반화하여 추정할 수 있는가?
• RQ2 자세의 다중해 정도가 다른 객체들 간의 6차원 자세 추정 성능을 공정하게 평가하기 위해 통합적이고 견고한 평가 지표를 어떻게 설계할 수 있는가?
• RQ3 엔드 투 엔드로 학습된 대응점 네트워크와 기존 방법들(FGCF, SuperGlue 등) 간의 성능 격차는 무엇인가?
• RQ4 제안된 SPN 모듈은 실세계 장면에서 노이즈와 부분 관측 상황에서 대응점 탐지 성능을 어떻게 향상시키는가?
• RQ5 제안된 방법은 새로운 객체 자세 추정에서 정확도와 추론 효율성 측면에서 직관적인 베이스라인에 비해 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 서로 다른 유형의 객체를 가진 세 가지의 고유한 테스트 서브셋에서 각각 20.3, 14.9, 9.7의 AUC 향상을 기록하여 강력한 일반화 능력을 입증한다.
• YCB-Video 벤치마크에서 재학습 없이도 구현된 베이스라인 대비 11.2의 AUC 향상을 달성하여, 제로샷 일반화 능력이 확인되었다.
• IADD 지표는 대칭 객체에서 성능을 과대 평가하지 않기 때문에 ADD-S보다 수치적으로 더 안정적임을 입증하였다.
• 제거 실험(ablation study) 결과, SPN 모듈을 제거할 경우 성능에 심각한 하락이 발생함을 확인하여, 정확한 대응점 학습에서의 핵심적 역할을 입증하였다.
• 단일 RTX 3070 GPU에서 추론 시 1회에 약 4초가 소요되며, FCGF+SPN(~3초)과 SuperGlue+RANSAC(~15초)를 모두 정확도와 속도 면에서 앞서며 성능을 뛰어넘었다.
• 정성적 결과 분석에서, 특히 작은 객체나 대칭성이 높은 객체에서 FCGF+SPN 및 SuperGlue+RANSAC보다 더 견고한 성능을 보였다.