[논문 리뷰] A Unified Framework for Multi-View Multi-Class Object Pose Estimation

Chi Li, Jin Bai외 1명|arXiv (Cornell University)|2018. 03. 21.

Robotics and Sensor-Based Localization참고 문헌 35인용 수 12

한 줄 요약

이 논문은 스케일이 크고 다양한 객체 클래스에 대해 복잡한 배경에서 다중 시각, 다중 클래스 6-DoF 객체 자세 추정을 위한 통합된 딥 러닝 프레임워크를 제안한다. SE(3) 자세 표현을 위한 bin-and-delta 인코딩을 갖춘 단일 출력 컨볼루션 네트워크, 클래스 사전 지식 융합을 위한 타일링된 클래스 맵, 그리고 객체 마스크를 통한 딥 서포비전을 도입하여 YCB-Video, JHUScene-50, ObjectNet-3D 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 더 높은 강인성과 일반화 능력을 확보한다.

ABSTRACT

One core challenge in object pose estimation is to ensure accurate and robust performance for large numbers of diverse foreground objects amidst complex background clutter. In this work, we present a scalable framework for accurately inferring six Degree-of-Freedom (6-DoF) pose for a large number of object classes from single or multiple views. To learn discriminative pose features, we integrate three new capabilities into a deep Convolutional Neural Network (CNN): an inference scheme that combines both classification and pose regression based on a uniform tessellation of the Special Euclidean group in three dimensions (SE(3)), the fusion of class priors into the training process via a tiled class map, and an additional regularization using deep supervision with an object mask. Further, an efficient multi-view framework is formulated to address single-view ambiguity. We show that this framework consistently improves the performance of the single-view network. We evaluate our method on three large-scale benchmarks: YCB-Video, JHUScene-50 and ObjectNet-3D. Our approach achieves competitive or superior performance over the current state-of-the-art methods.

연구 동기 및 목표

• 혼잡한 배경에서 다양한 객체 클래스 수천 개에 대해 스케일링 및 강인성 문제를 해결하기 위해 6-DoF 객체 자세 추정에 도전한다.
• 복잡한 환경에서 대칭성, 부분 가림, 외관 변화로 인한 단일 시각의 모호성을 극복한다.
• 다양한 클래스에서 높은 정확도를 유지하면서도 미리 보지 않은 객체 인스턴스로 일반화 가능한 통합된 딥 러닝 아키텍처를 개발한다.
• 대칭성 인식 기반의 투표 방식을 활용해 신뢰할 수 있는 자세 가설을 선택하는 효율적인 다중 시각 융합 프레임워크를 제안하여 단일 시각 정확도에 대한 의존도를 줄인다.
• 객체 마스크를 통한 딥 서포비전과 클래스 인식 특징 학습을 통해 합성 데이터에서 실제 세계 데이터로의 일반화 능력을 향상시킨다.

제안 방법

• SE(3) 내 6-DoF 자세를 위한 bin-and-delta (BD) 표현을 도입하여 군의 균일 테세레이션을 통해 이산적이고 미분 가능하며 구별 가능한 자세 회귀를 가능하게 한다.
• 타일링된 클래스 맵을 통해 객체 클래스 레이블을 네트워크에 융합하여 단일 브랜치 아키텍처 내에서 클래스 인식 특징 학습이 가능하도록 한다.
• 중간 레이어에서 진짜 객체 세그멘테이션 마스크를 사용해 딥 서포비전을 적용함으로써 합성 이미지에서 실제 이미지로의 특징 학습 및 일반화 능력을 향상시킨다.
• 다중 시각 융합 프레임워크를 활용해 다수의 시각에서 유도된 자세 가설을 기준 좌표계에 정렬하고 대칭성에 강건한 거리 측도를 사용해 가장 일관된 자세를 선택한다.
• 특히 대칭 객체에서 발생하는 단일 시각의 모호성을 해결하기 위해 투표 기반의 가설 선택 메커니즘을 도입하여 최종 자세 정확도를 향상시킨다.
• RGB 및 RGB-D 입력을 사용해 모델을 엔드 투 엔드로 훈련시키며, 각 구성 요소의 기여도를 검증하기 위해 아블레이션 스터디를 실시한다.

실험 결과

연구 질문

• RQ1 단일 딥 컨볼루션 네트워크 아키텍처와 통합 출력 스트림을 통해 수백 개의 객체 클래스에서 최신 기술 수준(SOTA) 성능을 달성하면서도 스케일링 및 일반화 능력을 유지할 수 있는가?
• RQ2 타일링된 클래스 맵을 통한 클래스 사전 지식 통합은 개별 클래스 또는 개별 브랜치 네트워크 대비 자세 추정 정확도와 일반화 능력을 얼마나 향상시키는가?
• RQ3 객체 마스크를 통한 딥 서포비전은 합성 데이터에서 실제 세계 이미지로의 일반화 능력을 6-DoF 자세 추정에서 얼마나 향상시키는가?
• RQ4 다중 시각 융합 프레임워크는 객체의 대칭성과 부분 가림으로 인한 단일 시각의 모호성을 효과적으로 해결할 수 있는가?
• RQ5 제안된 구성 요소들인 bin-and-delta 표현, 타일링된 클래스 맵, 마스크 서포비전이 각각 및 종합적으로 대규모 벤치마크에서 성능에 어떤 기여를 하는가?

주요 결과

• 제안된 MCN 프레임워크는 YCB-Video에서 80.2% mPCK를 달성하여 베이스라인(61.0%)과 별도의 브랜치 베이스라인(73.8%)을 크게 앞서며, 뛰어난 정확도와 스케일링 능력을 입증한다.
• JHUScene-50에서 MCN은 33.9% mPCK를 기록하여 베이스라인(25.0%) 대비 8.3% 향상되고 별도의 브랜치 베이스라인(29.3%) 대비 5.2% 향상되어 혼잡한 환경에서도 뛰어난 성능을 보인다.
• ObjectNet-3D에서 MCN은 90.8% AOS와 78.9% AVP를 달성하여, 검증 세트 최적화를 위해 훈련된 대규모 베이스라인 [42]조차도 앞서며, 새로운 인스턴스로의 강력한 일반화 능력을 보여준다.
• 아블레이션 스터디 결과, bin-and-delta, 타일링된 클래스 맵, 마스크 서포비전 중 어떤 요소를 제거하더라도 일관된 성능 저하가 발생하며, 특히 bin-and-delta 요소가 가장 핵심적임을 확인했다.
• 공유된 특징을 사용하는 별도의 브랜치 베이스라인조차도 MCN에 비해 성능이 열등하며, 별도의 네트워크 베이스라인은 대규모 설정에서 높은 훈련 비용(예: ObjectNet-3D에 100개 GPU 필요)으로 인해 실현 가능하지 않다.
• 다중 시각 프레임워크는 투표를 통해 단일 시각의 모호성을 해결함으로써 성능을 향상시키며, MV5-MCN는 모든 벤치마크에서 단일 시각 버전보다 높은 정확도를 확보했다.