[논문 리뷰] Latent-Class Hough Forests for 6 DoF Object Pose Estimation

Rigas Kouskouridas, Alykhan Tejani외 3명|arXiv (Cornell University)|2016. 02. 03.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 혼잡하고 가림이 있는 환경에서 6 DoF 물체 자세 추정을 위한 새로운 일종의 학습 프레임워크인 Latent-Class Hough Forests를 제안한다. 척도 불변 템플릿 기술자를 회귀 숲에 적응시켜 템플릿 기반 분할 함수를 사용하고, 테스트 시에 잠재 클래스 분포를 반복적으로 추론함으로써, 다중 인스턴스 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 고정밀도 검출과 가림 인식 세그멘테이션을 갖춘 새로운 완전히 애너테이션 처리된 박스 피킹 벤치마크를 포함한다.

ABSTRACT

In this paper we present Latent-Class Hough Forests, a method for object detection and 6 DoF pose estimation in heavily cluttered and occluded scenarios. We adapt a state of the art template matching feature into a scale-invariant patch descriptor and integrate it into a regression forest using a novel template-based split function. We train with positive samples only and we treat class distributions at the leaf nodes as latent variables. During testing we infer by iteratively updating these distributions, providing accurate estimation of background clutter and foreground occlusions and, thus, better detection rate. Furthermore, as a by-product, our Latent-Class Hough Forests can provide accurate occlusion aware segmentation masks, even in the multi-instance scenario. In addition to an existing public dataset, which contains only single-instance sequences with large amounts of clutter, we have collected two, more challenging, datasets for multiple-instance detection containing heavy 2D and 3D clutter as well as foreground occlusions. We provide extensive experiments on the various parameters of the framework such as patch size, number of trees and number of iterations to infer class distributions at test time. We also evaluate the Latent-Class Hough Forests on all datasets where we outperform state of the art methods.

연구 동기 및 목표

• 다중 물체 인스턴스가 존재하는 실제 환경 조건에서, 혼잡하고 가려진 환경에서 6 DoF 물체 자세 추정의 과제를 해결한다.
• 음성 샘플이 없는 일종의 학습을 가능하게 하여 기존의 Hough 숲과 회귀 숲의 한계를 극복하고, 학습 복잡도를 감소시킨다.
• 테스트 시에 잎 노드에서 클래스 분포를 잠재 변수로 모델링함으로써 배경 혼잡성과 전경 가림에 대한 강건성을 향상시킨다.
• 정확한 픽셀 수준의 가림 인식 세그멘테이션 마스크를 부가적으로 제공함으로써, 장면 이해 및 ICP 정밀화와 같은 응용 가능성을 제공한다.
• 혼잡하고 심한 2D 및 3D 가림이 존재하는 다중 인스턴스 시나리오를 포함한, 두 개의 새로운 어려운 공개 데이터셋인 Domestic Environments와 Bin-picking을 개발하고 공개한다.

제안 방법

• 랜덤 숲 프레임워크에서 사용 가능한 척도 불변 패치 기술자로 LINEMOD 템플릿 매칭 기술자를 적응시킨다.
• 양성 샘플만을 사용하여 효과적인 회귀 숲 학습이 가능한 새로운 템플릿 기반 분할 함수를 도입한다.
• 양성 샘플만으로 숲을 학습하며, 테스트 시에 잎 노드의 클래스 분포를 잠재 변수로 간주한다.
• 테스트 시에 반복적 추론을 수행하여 잠재 클래스 분포(전경/배경/가림자)를 업데이트함으로써 투표 지도의 노이즈를 감소시키고 Hough 투표 지도를 개선한다.
• 클래스 확률의 반복적 정밀화를 활용하여 3D 물체 자세와 가림 인식 세그멘테이션 마스크(가시성 지도)를 동시에 추정한다.
• Hough 숲 프레임워크 내에서 패치 기반, 부분 기반 전략을 적용하여 부분적 가림과 혼잡성 하에서의 국소화 및 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 Hough 숲에서 일종의 학습 접근 방식이 심한 혼잡성과 가림 조건에서 두 종류의 학습 방법보다 6 DoF 자세 추정 성능을 뛰어나게 할 수 있는가?
• RQ2 잠재 클래스 분포의 반복적 추론이 혼잡한 환경에서 자세 추정 정확도 향상과 거짓 긍정 감소에 얼마나 효과적인가?
• RQ3 잠재 클래스 모델링을 갖춘 회귀 숲이 다중 인스턴스 시나리오에서 정확한 가림 인식 세그멘테이션 마스크를 생성할 수 있는가?
• RQ4 템플릿 기반 분할 함수를 갖춘 패치 기반 Hough 숲이 심한 가림이 존재하는 실제 산업 환경에 잘 일반화되는가?
• RQ5 새로운 어려운 데이터셋에서 다중 인스턴스, 3D 및 2D 혼잡성 조건을 고려할 때, 제안된 방법은 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 박스 피킹 데이터셋에서 10개의 트리와 2/3 패치 크기를 사용할 경우, 평균 검출 정확도 90.8%와 F1 스코어 0.517을 달성하여 Brachmann 등 [5]의 베이스라인 방법을 뛰어넘었다.
• 10개의 트리와 2/3 패치 크기를 사용할 경우, 커피 컵에 대해 91.2% 검출 정확도와 0.542 F1 스코어, 주스 컨테이너에 대해 90.4% 검출 정확도와 0.492 F1 스코어를 달성했다.
• 반복적 추론 과정이 Hough 투표 지도와 세그멘테이션 마스크를 크게 향상시켰으며, 배경 픽셀이 반복 과정 동안 점차적으로 억제되었다.
• GPU 가속 없이도 박스 피킹 데이터셋에서 거의 실시간 성능을 달성하여 실용적 구현 가능성과 함께 검증되었다.
• 제안된 Latent-Class Hough Forests는 평가된 모든 데이터셋에서 모든 최신 기술 수준의 방법들을 능가했다. 이는 Hinterstoisser 등 [16]의 공개 데이터셋을 포함한다.
• 이 방법은 정확한 픽셀 수준의 가림 인식 세그멘테이션 마스크를 부가적으로 생성하였으며, 가림 인식 ICP 및 도메인 적응과 같은 후속 작업을 가능하게 하였다.