[논문 리뷰] Iterative Hough Forest with Histogram of Control Points for 6 DoF Object Registration from Depth Images

Caner Şahin, Rigas Kouskouridas외 1명|arXiv (Cornell University)|2016. 03. 08.

Robotics and Sensor-Based Localization참고 문헌 20인용 수 10

한 줄 요약

이 논문은 깊이 영상에서 6차원 물체 자세 정렬을 위해 스케일 변화가 가능한 암묵적 B스플라인 기반 기술자인 제어점 히스토그램(HoCP)을 활용한 반복적 히ュ프 포레스트를 제안한다. 이는 침습 및 혼잡한 환경에서도 강인성을 높이기 위해 스케일 변화가 가능한 암묵적 B스플라인 기술자를 활용한다. 점차적으로 혼잡한 배경을 제거하고 스케일 적응형 특징 추출을 통해 자세 추정을 반복적으로 개선함으로써, 최신 기술 수준의 성능을 달성하며, 다섯 번의 반복 후 'camera' 데이터셋에서 F1 스코어 0.7932를 기록한다.

ABSTRACT

State-of-the-art techniques proposed for 6D object pose recovery depend on occlusion-free point clouds to accurately register objects in 3D space. To reduce this dependency, we introduce a novel architecture called Iterative Hough Forest with Histogram of Control Points that is capable of estimating occluded and cluttered objects' 6D pose given a candidate 2D bounding box. Our Iterative Hough Forest is learnt using patches extracted only from the positive samples. These patches are represented with Histogram of Control Points (HoCP), a "scale-variant" implicit volumetric description, which we derive from recently introduced Implicit B-Splines (IBS). The rich discriminative information provided by this scale-variance is leveraged during inference, where the initial pose estimation of the object is iteratively refined based on more discriminative control points by using our Iterative Hough Forest. We conduct experiments on several test objects of a publicly available dataset to test our architecture and to compare with the state-of-the-art.

연구 동기 및 목표

• 기존의 ICP와 같은 전통적 방법이 초기화가 불량하여 실패하는 중첩 및 혼잡한 환경에서 6차원 물체 자세 추정 문제를 해결하기 위해.
• 기존의 학습 기반 방법에서 스케일 불변 특징의 한계를 극복하기 위해 물체 형태에 내재된 스케일 변화가 가능한 특징을 활용함으로써.
• 암묵적 B스플라인에서 유도된 새로운 패치 기술자인 제어점 히스토그램(HoCP)을 개발하여 다중 스케일에서 풍부한 기하학적 세부 정보를 캡처하기 위해.
• 이 기술자를 히ュ프 포레스트 프레임워크에 통합하여 점차적으로 배경 및 전경 혼잡을 제거함으로써 자세 가설을 반복적으로 개선하는 방법을 개발하기 위해.
• 부정 샘플의 마이닝을 피하고 일반화 성능을 향상시키기 위해 모델을 유일하게 양성 샘플에서 훈련시키기 위해.

제안 방법

• 이 방법은 암묵적 B스플라인(IBS)을 사용하여 국소 물체 패치의 스케일 변화가 가능한 부피적 표현을 생성하고, 이를 스케일 변화에 강인한 제어점 히스토그램(HoCP)으로 인코딩한다.
• 훈련은 유일하게 양성 샘플에서 수행되며, 정규화된 점군에서 패치를 추출하고 다중 스케일에서 HoCP 기술자를 사용하여 표현한다.
• 추론 과정에서 히ュ프 포레스트를 사용해 初기 자세를 추정하고, 낮은 신뢰도를 가진 패치를 제거함으로써 테스트 이미지를 반복적으로 업데이트하여 노이즈와 혼잡을 감소시킨다.
• 반복 과정에서 각 정규화 이후 단위 입방체 내에서 전경 물체의 상대적 스케일이 증가하여 더 분류 능력이 높은 제어점을 더 높은 스케일에서 추출할 수 있다.
• 히ュ프 포레스트는 반복 과정 동안 투표를 누적하여 점차적으로 더 정확하고 국소화된 특징을 사용해 자세 가설을 개선한다.
• 조합적 탐지 및 정렬 전략을 적용하여 패치 수준의 대응 관계를 동시에 활용해 물체를 국소화하고 6차원 자세를 추정한다.

실험 결과

연구 질문

• RQ1 암묵적 B스플라인에서 파생된 스케일 변화가 가능한 패치 기술자가 침입 및 혼잡한 환경에서 6차원 물체 자세 추정에 기여하는가?
• RQ2 점차적으로 깔끔해지는 점군 기반의 반복적 개선이 단일 단계 방법에 비해 더 높은 자세 정확도를 제공하는가?
• RQ3 유일하게 양성 샘플에서 훈련된 히ュ프 포레스트가 부정 샘플 또는 어려운 샘플 마이닝 없이도 강인한 성능을 달성할 수 있는가?
• RQ4 스케일 변화가 가능한 특징의 통합이 혼잡한 깊이 영상에서 분류 능력을 어떻게 향상시키는가?
• RQ5 반복적인 혼잡 제거가 제어점 기술자 및 이후 자세 추정의 품질을 어느 정도 향상시키는가?

주요 결과

• 제안된 방법은 다섯 번의 반복 후 'camera' 데이터셋에서 F1 스코어 0.7932를 기록하며, 최신 기술 수준의 LCHF-RGBD 방법(0.7390)과 LCHF-Depth(0.7860)를 초월한다.
• 반복적 개선 과정을 통해 F1 스코어는 초기 정렬 시 0.7510에서 다섯 번의 반복 후 0.7932로 향상되었으며, 점차적인 혼잡 제거의 유용성을 입증한다.
• 최적의 패치 크기는 1/2로 확인되었으며, 이 경우 F1 스코어는 0.7068이었다. IBS 해상도(N=100)와 특징 차원(d=256)의 최적 조합은 초기 정렬에서 F1 스코어 0.7510을 달성했다.
• 이 방법은 RGB, Depth, RGBD 특징에서 훈련된 LCHF보다 '커피 컵'과 'camera' 데이터셋 양쪽 모두에서 더 우수한 성능을 보였으며, 특히 도전적인 혼잡한 환경에서 두각을 나타냈다.
• HoCP 기술자의 사용은 노이즈가 많은 환경에서 더 나은 분류 능력을 제공함을 입증하였으며, 개선된 PR 곡선과 반복 과정에서 정밀해지는 정렬을 보여주는 정성적 결과로 확인되었다.
• 절단 분석 결과, 반복 수를 늘릴수록 성능 향상이 이루어지며, 다섯 번 반복 버전이 가장 높은 F1 스코어 0.7932를 기록했다.