[논문 리뷰] Recovering 6D Object Pose and Predicting Next-Best-View in the Crowd

Andreas Doumanoglou, Rigas Kouskouridas외 2명|arXiv (Cornell University)|2015. 12. 23.

Advanced Neural Network Applications참고 문헌 31인용 수 12

한 줄 요약

이 논문은 흐름이 많은 장면에서 6차원 물체 자세 추정과 다음 최적의 시야 예측을 위한 통합 프레임워크를 제안한다. 비지도 특징 학습을 통해 희소 자동에코더와 후후 숲(Hough Forests)을 활용한다. 자세 정확도를 향상시키기 위해 물체 자세를 동시에 분류하고 회귀하는 방식을 채택하였으며, 잎노드 엔트로피와 가림 모델링을 통한 불확실성 인식 기반의 다음 최적의 시야 선택을 개선하였다. 공개 및 자체 구축된 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 새로운 RGB-D 박스 피킹 데이터셋도 포함한다.

ABSTRACT

Object detection and 6D pose estimation in the crowd (scenes with multiple object instances, severe foreground occlusions and background distractors), has become an important problem in many rapidly evolving technological areas such as robotics and augmented reality. Single shot-based 6D pose estimators with manually designed features are still unable to tackle the above challenges, motivating the research towards unsupervised feature learning and next-best-view estimation. In this work, we present a complete framework for both single shot-based 6D object pose estimation and next-best-view prediction based on Hough Forests, the state of the art object pose estimator that performs classification and regression jointly. Rather than using manually designed features we a) propose an unsupervised feature learnt from depth-invariant patches using a Sparse Autoencoder and b) offer an extensive evaluation of various state of the art features. Furthermore, taking advantage of the clustering performed in the leaf nodes of Hough Forests, we learn to estimate the reduction of uncertainty in other views, formulating the problem of selecting the next-best-view. To further improve pose estimation, we propose an improved joint registration and hypotheses verification module as a final refinement step to reject false detections. We provide two additional challenging datasets inspired from realistic scenarios to extensively evaluate the state of the art and our framework. One is related to domestic environments and the other depicts a bin-picking scenario mostly found in industrial settings. We show that our framework significantly outperforms state of the art both on public and on our datasets.

연구 동기 및 목표

• 흐름이 많고 심한 가림, 혼잡함, 배경 간섭이 있는 장면에서 6차원 물체 자세 추정의 과제를 해결하기 위해.
• 단일 촬영 6D 자세 추정에서 수작업으로 설계된 특징의 한계를 극복하기 위해, 희소 자동에코더를 통한 비지도 특징 학습을 도입하기 위해.
• 후후 숲의 내재된 군집화 및 엔트로피 추정 기능을 활용해 불확실성 기반의 능동적, 다음 최적의 시야 선택을 가능하게 하기 위해.
• 가짜 양성 결과를 줄이기 위해 자세 가설을 정밀화하고 검증하는 통합 최적화 단계를 통합함으로써 검출의 강건성을 향상시키기 위해.
• 공개 벤치마크와 두 가지 새로운 실제적인 RGB-D 데이터셋—가정용 및 산업용 박스 피킹 시나리오—에서 프레임워크를 평가하기 위해.

제안 방법

• 이미지 패치에서 수동으로 설계된 특징을 대체하기 위해, 비지도 방식으로 희소 자동에코더를 사용해 깊이에 영향을 받지 않는 특징을 학습한다.
• 6D 후후 투표를 통해 잎노드를 활용해 자세 가설 집계를 수행하는 방식으로, 후후 숲을 사용해 동시에 분류 및 6D 회귀를 수행한다.
• 후후 숲의 잎노드에서 자세 가설의 엔트로피를 사용해 불확실성을 추정하고, 다음 최적의 시야 예측을 이끌어내기 위해 활용한다.
• 다음 최적의 시야 예측 중에 가림 모델링을 통합하여, 후보 시점에서의 가시성과 부분적 가림을 시뮬레이션한다.
• 가짜 양성 결과를 제거하고 최종 정확도를 향상시키기 위해 자세 가설을 정밀화하고 검증하는 통합 최적화 모듈을 적용한다.
• 후후 숲을 $5 \cdot 10^6$개의 패치로 구성된 대규모 데이터셋에서 훈련하고, 병렬 구현을 통해 훈련 시간을 단축시킨다.

실험 결과

연구 질문

• RQ1 희소 자동에코더를 통한 비지도 특징 학습이 수작업 특징에 비해 흐름이 많고 가려진 장면에서 6D 물체 자세 추정에 개선을 이끌 수 있는가?
• RQ2 후후 숲이 자세 추정 외에도 불확실성 기반의 능동적 다음 최적의 시야 선택에 효과적으로 활용될 수 있는가?
• RQ3 다음 최적의 시야 예측 중에 가림을 모델링하면 이후 자세 추정의 정확도에 어떤 영향을 미치는가?
• RQ4 가짜 양성 결과와 애매한 가설이 존재하는 상황에서 통합 최적화가 자세 추정 정확도에 얼마나 기여하는가?
• RQ5 제안된 프레임워크는 표준 벤치마크를 넘어서 실제 세계 시나리오에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 초과품 시나리오에서 평균 정밀도 71.2%를 달성했으며, 박스 피킹 시나리오에서는 36.1%를 기록하여 이전 최신 기술 수준(SOTA) 방법을 능가하였다.
• 통합 최적화를 적용함으로써 모든 테스트 객체에서 성능이 최대 8.9%포인트 향상되었으며, 예를 들어 '엘리트' 물체의 경우 77.6% 대비 74.9%로 향상되었다.
• 가림 보정이 있는 다음 최적의 시야 예측은 일관되게 최적의 시점을 선택하는 반면, 보정이 없는 기준선은 자주 앞면 시점으로 수렴하여 가려진 물체를 놓친다.
• 훈련 시간을 크게 단축시켰다: i7 CPU에서 트리당 90분으로, 이는 이전 방법의 3시간에서 1일 수준에서 비교적 짧은 시간이다.
• 강력한 일반화 능력을 보이며, 공개 데이터셋과 새로 도입된 도전적인 실제 세계 데이터셋 모두에서 최신 기술 수준(SOTA) 성능을 달성하였다.
• 이 프레임워크는 비지도 특징 학습, 6D 자세 추정, 불확실성 인식 기반의 다음 최적의 시야 예측을 하나의 패치 기반 후후 숲 프레임워크에서 통합한 최초의 사례이다.