[논문 리뷰] A Review on Object Pose Recovery: from 3D Bounding Box Detectors to Full 6D Pose Estimators

Caner Şahin, Guillermo Garcia-Hernando외 2명|arXiv (Cornell University)|2020. 01. 28.

Robotics and Sensor-Based Localization참고 문헌 194인용 수 4

한 줄 요약

이 논문은 3D 경계 상자 검출기에서 완전한 6자리 자세 추정기까지의 객체 자세 복원 분야에 대한 첫 번째 종합적인 리뷰를 제시한다. 이는 문제 모델링 방식에 기반해 수학적으로 근거를 둔 방법의 분류(분류, 회귀, 특징 매칭 등)를 도입하고, 다양한 데이터셋, 평가 지표, 과제들(예: 부분 가림, 혼잡함, 대칭성)에 대한 성능 분석을 수행하며, RGB 전용 환경에서는 딥 러닝 기반 접근법의 우월성과 대칭 객체 상황에서 VSD의 우수한 내성적 특성을 강조한다.

ABSTRACT

Object pose recovery has gained increasing attention in the computer vision field as it has become an important problem in rapidly evolving technological areas related to autonomous driving, robotics, and augmented reality. Existing review-related studies have addressed the problem at visual level in 2D, going through the methods which produce 2D bounding boxes of objects of interest in RGB images. The 2D search space is enlarged either using the geometry information available in the 3D space along with RGB (Mono/Stereo) images, or utilizing depth data from LIDAR sensors and/or RGB-D cameras. 3D bounding box detectors, producing category-level amodal 3D bounding boxes, are evaluated on gravity aligned images, while full 6D object pose estimators are mostly tested at instance-level on the images where the alignment constraint is removed. Recently, 6D object pose estimation is tackled at the level of categories. In this paper, we present the first comprehensive and most recent review of the methods on object pose recovery, from 3D bounding box detectors to full 6D pose estimators. The methods mathematically model the problem as a classification, regression, classification & regression, template matching, and point-pair feature matching task. Based on this, a mathematical-model-based categorization of the methods is established. Datasets used for evaluating the methods are investigated with respect to the challenges, and evaluation metrics are studied. Quantitative results of experiments in the literature are analyzed to show which category of methods best performs across what types of challenges. The analyses are further extended comparing two methods, which are our own implementations, so that the outcomes from the public results are further solidified. Current position of the field is summarized regarding object pose recovery, and possible research directions are identified.

연구 동기 및 목표

• 3D 경계 상자 검출에서부터 완전한 6자리 자세 추정에 이르기까지 객체 자세 복원 방법에 대한 체계적이고 최신의 리뷰 제공.
• 문제 정의의 기초가 되는 수학적 모델링 기반으로 분류, 회귀 등에 기반한 새로운 방법 분류 체계 수립.
• 다양한 데이터셋과 평가 지표를 통해 성능을 분석하며, 특히 부분 가림, 혼잡함, 대칭성 등의 과제에 초점을 맞춘다.
• 공개 벤치마크와 자체 개발 구현을 통한 최신 기법 간 비교를 통해 보고된 결과의 타당성과 강도를 입증한다.
• 현재의 한계를 규명하고, 특히 카테고리 수준의 6자리 자세 추정과 클래스 내 변동성에 대한 내성적 특성 향상을 위한 향후 연구 방향 제안.

제안 방법

• 수학적 모델링 기반으로 객체 자세 복원 방법을 분류, 회귀, 분류 및 회귀, 템플릿 매칭, 점 쌍 특징 매칭으로 분류.
• KITTI, NYU-Depth v2, SUN RGB-D 등의 데이터셋에서 중력 기반 RGB 또는 RGB-D 이미지를 사용해 3D 경계 상자 검출기 평가.
• LINEMOD, T-LESS, MULT-I와 같은 인스턴스 수준 데이터셋에서 6자리 자세 추정기 분석. 이들 데이터셋은 정답 6자리 자세를 제공한다.
• 두 가지 평가 지표인 평균 거리(AD)와 가시성 기반 유사도 거리(VSD)를 사용. VSD는 대칭 객체의 모호성에 더 강건함을 입증.
• 감지 및 매칭 성능 최적화를 위한 초모수(δ, τ, t)에 대한 분석 실험을 수행. 최적의 초모수 조합은 δ=20, τ=100, t=0.5로 확인.
• LCHF 및 Linemod 방법의 자체 개발 구현을 통해 결과를 공개 벤치마크와 비교하여 발견 결과의 타당성을 강화.

실험 결과

연구 질문

• RQ1 분류, 회귀, 특징 매칭 등의 다양한 수학적 모델링 접근법이 객체 자세 복원 과제에서 성능적으로 어떻게 상호 비교되는가?
• RQ2 부분 가림, 혼잡함, 대칭성 등의 과제 중 6자리 자세 추정 성능에 가장 심각한 영향을 미치는 요소는 무엇인가?
• RQ3 AD와 VSD와 같은 평가 지표는 대칭 객체에 대해 어떻게 다를까? 특히 내성적 특성 측면에서 어떻게 다를까?
• RQ4 표준 벤치마크에서 3D 경계 상자 검출기와 완전한 6자리 자세 추정기 사이의 성능 격차는 어느 정도인가?
• RQ5 RGB 전용 데이터로 훈련된 엔드 투 엔드 딥 러닝 모델이 깊이 정보나 3D 모델에 의존하는 전통적 방법을 능가할 수 있는가?

주요 결과

• VSD 지표는 대칭 객체 처리에서 AD를 능가한다. VSD는 모호성에 강인하며, 전체 객체의 대칭성으로 인해 AD에서 잘못된 양성 결과가 발생하더라도 가시 부분에 대한 정확한 예측을 수용하기 때문이다.
• 감지 파이프라인에 최적의 초모수는 δ=20, τ=100, t=0.5로 확인되었으며, 이는 시각적 및 정량적 평가에서 최고의 재현율을 달성했다.
• 점 쌍 특징 매칭 방법은 BOP 챌린지에서 뛰어난 성능을 보였지만, 특히 복잡한 장면에서 부분 가림과 혼잡함의 영향을 크게 받았다.
• 딥 러닝 기반 방법, 특히 RGB 전용 데이터로 훈련된 엔드 투 엔드 CNN은 전통적인 템플릿 기반 및 특징 기반 접근법을 능가하며 주요 패러다임으로 자리 잡았다.
• LINEMOD 데이터셋은 AD 및 VSD 평가 모두에서 가장 높은 성능을 기록했으며, OCC 데이터셋은 높은 부분 가림으로 인해 가장 도전적인 과제로 나타났다.
• 현재 6자리 자세 추정은 주로 인스턴스 수준 예측에 국한되어 있으며, 카테고리 수준의 예측은 여전히 개발이 부족한 분야이며, 최근의 ISA 및 정규화된 객체 좌표 공간 네트워크와 같은 방법들이 희망을 보이고 있다.