[논문 리뷰] 6D Object Detection and Next-Best-View Prediction in the Crowd.

Andreas Doumanoglou, Rigas Kouskouridas외 2명|arXiv (Cornell University)|2015. 12. 23.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 희소 오토에코더와 후프 포레스트를 통한 비지도 특징 학습을 활용하여 혼잡하고 가림이 심한 환경에서 6차원 물체 탐지 및 다음 최적의 시야 예측을 위한 새로운 종단간 프레임워크를 제안한다. 포즈 추정 정확도 향상과 불확실성 감소를 동시에 달성하여, 기존 최고 수준의 방법들보다 공개 및 자체 구축 데이터셋에서 모두 뛰어난 성능을 보였다.

ABSTRACT

6D object detection and pose estimation in the crowd (scenes with multiple object instances, severe foreground occlusions and background distractors), has become an important problem in many rapidly evolving technological areas such as robotics and augmented reality. Single shot-based 6D pose estimators with manually designed features are still unable to tackle the above challenges, motivating the research towards unsupervised feature learning and next-best-view estimation. In this work, we present a complete framework for both single shot-based 6D object pose estimation and next-best-view prediction based on Hough Forests, the state of the art object pose estimator that performs classification and regression jointly. Rather than using manually designed features we a) propose an unsupervised feature learnt from depth-invariant patches using a Sparse Autoencoder and b) offer an extensive evaluation of various state of the art features. Furthermore, taking advantage of the clustering performed in the leaf nodes of Hough Forests, we learn to estimate the reduction of uncertainty in other views, formulating the problem of selecting the next-best-view. To further improve 6D object pose estimation, we propose an improved joint registration and hypotheses verification module as a final refinement step to reject false detections. We provide two additional challenging datasets inspired from realistic scenarios to extensively evaluate the state of the art and our framework. One is related to domestic environments and the other depicts a bin-picking scenario mostly found in industrial settings. We show that our framework significantly outperforms state of the art both on public and on our datasets.

연구 동기 및 목표

• 다수의 물체 인스턴스와 배경 잡음이 존재하는 혼잡하고 가림이 심한 환경에서 6차원 물체 포즈 추정 문제를 해결한다.
• 복잡한 실세계 환경에서 수작업으로 설계된 특징에 의존하는 단일 스포트 6D 포즈 추정기의 한계를 극복한다.
• 후프 포레스트의 리프 노드에 존재하는 클러스터링 구조를 활용하여 불확실성 감소를 도모하는 다음 최적의 시야 예측 시스템을 개발한다.
• 기하학적 일致성 검사를 통한 포즈 예측 정밀화 및 가짜 양성(false positive) 거르기를 통해 포즈 추정의 강인성을 향상시킨다.
• 이미 존재하는 벤치마크를 넘어서 실제 도메인 및 산업 현장 환경을 반영한 두 가지 새로운 실용적 데이터셋—가정용 및 산업용 박스 피킹 시나리오—에서 프레임워크를 평가한다.

제안 방법

• 수동으로 설계된 특징을 대체하기 위해, 비지도 방식으로 국소 이미지 패치에서 깊이 불변 특징을 학습하기 위해 희소 오토에코더를 활용한다.
• 학습된 특징을 기반으로 6차원 물체 포즈의 동시 분류 및 회귀를 수행할 수 있도록 후프 포레스트를 핵심 포즈 추정기로 활용한다.
• 후프 포레스트 리프 노드의 클러스터링 구조를 활용하여, 다양한 시야에서의 불확실성 감소를 모델링함으로써 다음 최적의 시야 예측을 수립한다.
• 기하학적 일치성 검사를 통해 포즈 예측을 정밀화하고 가짜 양성을 거르는, 통합된 레지istration 및 가설 검증 모듈을 도입한다.
• 공개 벤치마크와 함께, 실제 세계의 가정용 및 산업용 환경을 반영한 두 가지 새로운 어려운 데이터셋에서 프레임워크를 종단간으로 훈련 및 평가한다.
• 동일한 실험 환경에서 제안된 비지도 특징 학습 방법과 여러 최고 수준의 특징 학습 방법 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 깊이 불변 패치에서 비지도 특징 학습을 통해 기존 수작업 특징 대비 혼잡하고 심한 가림이 있는 환경에서 6D 물체 포즈 추정 정확도가 향상되는가?
• RQ2 후프 포레스트의 클러스터링 구조를 얼마나 효과적으로 활용하여 포즈 추정 불확실성을 최대한으로 감소시키는 다음 최적의 시야를 예측할 수 있는가?
• RQ3 제안된 통합된 레지스트레이션 및 가설 검증 모듈이 혼잡한 환경에서 가짜 양성에 대한 강인성을 어떻게 향상시키는가?
• RQ4 기존 표준 벤치마크를 넘어서 실제 도메인 및 산업 환경에서 프레임워크가 일반화되는가?
• RQ5 공개 및 새로 도입된 데이터셋에서 제안된 프레임워크가 최고 수준의 방법들에 비해 상대적으로 얼마나 높은 성능 향상을 달성하는가?

주요 결과

• 희소 오토에코더를 통한 비지도 특징 학습이 기존 수작업 특징에 비해 혼잡하고 가림이 심한 환경에서 6D 물체 포즈 추정 정확도를 크게 향상시킨다.
• 후프 포레스트의 클러스터링에서 유도된 다음 최적의 시야 예측 모듈은 포즈 추정의 불확실성을 효과적으로 감소시켜 더 효율적인 능동적 인식을 가능하게 한다.
• 통합된 레지스트레이션 및 가설 검증 모듈은 상당 수의 가짜 양성을 성공적으로 거르며, 전체 탐지 신뢰도를 향상시킨다.
• 프레임워크는 공개 벤치마크와 새로 도입된 두 데이터셋—가정용 및 박스 피킹 시나리오—에서 모두 최고 수준의 성능을 달성하여 강력한 일반화 능력을 입증한다.
• 정량적 결과는 모든 테스트 시나리오에서 평균 정밀도(mAP)와 6D 포즈 추정 성공률 향상이 뚜렷하게 나타나며, 특히 높은 가림 상황에서 두드러진다.
• 절단 분석 결과 각 구성 요소의 효과성이 확인되었으며, 비지도 특징 학습과 불확실성 기반의 시야 선택이 성능 향상에 가장 기여한다.