[논문 리뷰] BB8: A Scalable, Accurate, Robust to Partial Occlusion Method for Predicting the 3D Poses of Challenging Objects without Using Depth

Mahdi Rad, Vincent Lepetit|arXiv (Cornell University)|2017. 03. 31.

Advanced Neural Network Applications참고 문헌 15인용 수 71

한 줄 요약

이 논문은 유일한 색상 이미지만을 사용하여 확장성 있고 강건한 3D 객체 자세 추정 방법 BB8를 제안한다. 이 방법은 3D 경계 상자 모서리 투영을 종합적인 CNN 기반 예측 방식으로 활용한다. 부분적 음영과 대칭성에 강건한 성능을 보이며, LINEMOD에서 89.3%의 정확도를 달성하고, T-LESS 데이터셋에서 6D 자세 기준 54%의 성능을 기록하여 새로운 기준을 설정한다. 이는 깊이 정보 없이도 달성한 성과로, 자세 범위 분류와 훈련 데이터 제약을 통해 대칭 객체를 효과적으로 다룬다.

ABSTRACT

We introduce a novel method for 3D object detection and pose estimation from color images only. We first use segmentation to detect the objects of interest in 2D even in presence of partial occlusions and cluttered background. By contrast with recent patch-based methods, we rely on a holistic approach: We apply to the detected objects a Convolutional Neural Network (CNN) trained to predict their 3D poses in the form of 2D projections of the corners of their 3D bounding boxes. This, however, is not sufficient for handling objects from the recent T-LESS dataset: These objects exhibit an axis of rotational symmetry, and the similarity of two images of such an object under two different poses makes training the CNN challenging. We solve this problem by restricting the range of poses used for training, and by introducing a classifier to identify the range of a pose at run-time before estimating it. We also use an optional additional step that refines the predicted poses. We improve the state-of-the-art on the LINEMOD dataset from 73.7% to 89.3% of correctly registered RGB frames. We are also the first to report results on the Occlusion dataset using color images only. We obtain 54% of frames passing the Pose 6D criterion on average on several sequences of the T-LESS dataset, compared to the 67% of the state-of-the-art on the same sequences which uses both color and depth. The full approach is also scalable, as a single network can be trained for multiple objects simultaneously.

연구 동기 및 목표

• 부분적 음영 조건에서 대칭성이 높은 어려운 객체에 대해 RGB 이미지만을 사용하여 신뢰할 수 있는 3D 객체 자세 추정 방법을 개발하는 것.
• 자세의 모호성과 이미지 유사성으로 인해 대칭 객체에서 CNN 훈련을 수행하는 데 어려움을 극복하는 것.
• 깊이 센서에 의존하지 않고도 혼잡한 환경과 음영 조건에서도 정확성과 강건성을 향상시키는 것.
• 단일 네트워크를 다수의 객체에 동시에 확장 가능하게 훈련하는 것.

제안 방법

• 이 방법은 부분적 음영과 혼잡한 환경에서도 객체를 2D에서 검출할 수 있도록 인스턴스 세그멘테이션을 사용한다.
• 종합적인 CNN이 세그멘테이션된 객체 영역에서 3D 경계 상자 모서리의 2D 투영을 예측한다.
• 회전 대칭성을 다루기 위해 훈련 데이터의 자세 범위를 제한하여 모호성을 줄인다.
• 추론 시점에 자세 범위 분류기가 도입되어 회귀 이전에 올바른 자세 범위를 식별한다.
• 반복 최적화를 사용하는 선택적 정밀 조정 단계가 자세 정확도를 추가로 향상시킨다.
• 전체 시스템은 엔드 투 엔드로 훈련되며, 단일 네트워크로 다중 객체 추론을 지원한다.

실험 결과

연구 질문

• RQ1 RGB 이미지만으로도 대칭성이 높고 음영이 있는 객체에 대해 고정확도의 3D 자세 추정을 CNN 기반 방법이 달성할 수 있는가?
• RQ2 훈련 및 추론 과정에서 회전 대칭성으로 인한 자세의 모호성을 어떻게 완화할 수 있는가?
• RQ3 깊이 데이터를 사용하지 않고도 T-LESS 및 LINEMOD와 같은 벤치마크 데이터셋에서 어떤 성능 향상을 달성할 수 있는가?
• RQ4 정확도와 강건성을 유지하면서 단일 네트워크를 다수의 객체에 효과적으로 훈련시킬 수 있는가?

주요 결과

• LINEMOD 데이터셋에서 89.3%의 정확도를 달성하여 이전 최신 기술 수준인 73.7%를 초월한다.
• 색상 이미지만을 사용하여 T-LESS 데이터셋의 음영 서브셋에 대해 첫 번째 결과를 보고한다.
• T-LESS 데이터셋에서 BB8는 6D 자세 기준 54%의 프레임을 통과시키며, 색상과 깊이를 모두 사용한 이전 최신 기술 수준보다 뛰어난 성능을 보였다.
• 단일 네트워크로 다수의 객체를 동시에 자세 추정할 수 있도록 확장 가능하다.
• 자세 범위 분류와 제한된 훈련 자세 범위의 사용이 대칭 객체에서의 일반화 능력을 크게 향상시켰다.
• 선택적 정밀 조정 단계는 자세 정확도를 추가로 향상시켜, 이 방법의 적응 가능성과 강건성을 입증한다.