[논문 리뷰] DPOD: Dense 6D Pose Object Detector in RGB images

Sergey Zakharov, Ivan Shugurov외 1명|arXiv (Cornell University)|2019. 02. 28.

Advanced Neural Network Applications참고 문헌 22인용 수 32

한 줄 요약

이 논문은 RGB 이미지에서 실시간으로 작동하는 CNN 기반의 DPOD를 제안한다. DPOD는 밀도 높은 2D-3D 대응 관계와 다중 클래스 마스크를 예측하여 6자리 물체 자세 추정 및 검출을 동시에 수행한다. 기존의 2D/3D 경계 상자에 의존하는 방법들과 달리, DPOD는 PnP와 RANSAC를 활용해 밀도 높은 대응 관계를 이용함으로써 자세 정확도를 크게 향상시켰으며, 단일 및 다중 물체 벤치마크에서 최신 기술을 능가한다. 심지어 합성 데이터만으로 훈련된 경우에도 성능을 낼 수 있다.

ABSTRACT

In this work we propose a new method for simultaneous object detection and 6DoF pose estimation. Unlike most recent techniques for CNN-based object detection and pose estimation, we do not base our approach on the common 2D counterparts, i.e. SSD and YOLO, but propose a new scheme. Instead of regressing 2D or 3D bounding boxes, we output full-sized 2D images containing multiclass object masks and dense 2D-3D correspondences. Having them at hand, a 6D pose is computed for each detected object using the PnP algorithm supplemented with RANSAC. This strategy allows for substantially better pose estimates due to a much higher number of relevant pose correspondences. Furthermore, the method is real-time capable, conceptually simple and not bound to any particular detection paradigms, such as R-CNN, SSD or YOLO. We test our method for single- and multiple-object pose estimation and compare the performance with the former state-of-the-art approaches. Moreover, we demonstrate how to use our pipeline when only synthetic renderings are available. In both cases, we outperform the former state-of-the-art by a large margin.

연구 동기 및 목표

• 기존의 6자리 자세 추정 방법들이 희소하거나 경계 상자 기반의 감독에 의존함으로써 자세 정확도가 제한되는 문제를 해결한다.
• 특정 검출 아키텍처(예: R-CNN, SSD, YOLO 등)에 의존하지 않는 통합된 실시간 프레임워크를 개발하여 동시에 물체 검출과 6자리 자세 추정을 수행한다.
• 희소 키포인트나 상자 기반 감독 대신 밀도 높은 2D-3D 대응 관계를 활용하여 자세 추정 정확도를 향상시킨다.
• 실제 데이터의 고비용 레이블링에 의존하지 않고도 효과적인 훈련을 가능하게 하기 위해 합성 RGB 렌더링만을 사용한다.

제안 방법

• 각 물체 인스턴스별로 전체 해상도의 다중 클래스 세그멘테이션 마스크와 밀도 높은 2D-3D 대응 관계를 출력하는 새로운 검출 헤드를 제안한다.
• 예측된 밀도 높은 대응 관계를 PnP 알고리즘과 RANSAC에 입력하여 정확한 6자리 물체 자세를 계산한다.
• 검출 파라다임에 관계없이 작동하도록 네트워크 아키텍처를 설계하여 다양한 백본 네트워크와 추론 파이프라인과의 호환성을 확보한다.
• 합성 렌더링만 존재하는 경우에도 세그멘테이션과 대응 관계 감독의 조합을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 대응 관계의 높은 밀도를 활용하여 희소 키포인트 회귀 대비 자세 추정의 정확성과 내성 강도를 향상시킨다.
• 복잡한 영역 제안 네트워크를 피하고 밀도 높은 예측 헤드에 의존함으로써 실시간 추론을 달성한다.

실험 결과

연구 질문

• RQ1 희소 키포인트나 경계 상자 회귀 대비 밀도 높은 2D-3D 대응 관계 예측이 6자리 물체 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 훈련에 합성 RGB 렌더링만을 사용해도 최신 기술 수준의 6자리 자세 추정 성능을 달성할 수 있는가?
• RQ3 R-CNN나 YOLO와 같은 특정 검출 파라다임에 종속되지 않는 검출-자세 프레임워크를 설계할 수 있는가?
• RQ4 밀도 높은 대응 관계의 사용이 단일 및 다중 물체 시나리오에서 자세 추정의 정확성과 내성 강도를 어떻게 향상시키는가?

주요 결과

• DPOD는 단일 및 다중 물체 벤치마크에서 이전 최신 기술보다 뛰어난 6자리 자세 추정 성능을 달성한다.
• 밀도 높은 2D-3D 대응 관계를 활용함으로써 PnP와 RANSAC에 더 신뢰할 수 있고 풍부한 데이터를 제공하여 자세 정확도가 크게 향상된다.
• DPOD는 실시간 동작이 가능하여 동적인 환경에서의 실용적 구현이 가능하다.
• 합성 RGB 렌더링만으로 훈련된 경우에도 실세계 데이터에 잘 일반화된다.
• 특정 물체 검출 파라다임에 종속되지 않아 모델 설계와 통합에 유연성을 제공한다.
• 성능 향상은 뚜렷하며, 논문은 이전 방법들에 비해 '큰 격차'로 성능 향상을 기록했다고 언급한다.