[논문 리뷰] Deep Bingham Networks: Dealing with Uncertainty and Ambiguity in Pose Estimation

Haowen Deng, Mai Bui외 4명|arXiv (Cornell University)|2020. 12. 20.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 6차원 자세 추정을 쿼aternion 위의 바이닝 혼합 모델을 사용하여 다중모드 분포로 모델링하는 딥 빙햄 네트워크(Deep Bingham Networks, DBN)를 제안한다. 이는 불확실성 인식 예측을 가능하게 하여 모호한 장면과 모호하지 않은 장면 모두에서 유연한 예측을 가능하게 한다. 새로운 학습 전략을 통해 모드 붕괴를 방지하고 수치적 안정성을 향상시킴으로써, 6차원 카메라 재로컬라이제이션 및 3차원 물체 자세 추정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we introduce Deep Bingham Networks (DBN), a generic framework that can naturally handle pose-related uncertainties and ambiguities arising in almost all real life applications concerning 3D data. While existing works strive to find a single solution to the pose estimation problem, we make peace with the ambiguities causing high uncertainty around which solutions to identify as the best. Instead, we report a family of poses which capture the nature of the solution space. DBN extends the state of the art direct pose regression networks by (i) a multi-hypotheses prediction head which can yield different distribution modes; and (ii) novel loss functions that benefit from Bingham distributions on rotations. This way, DBN can work both in unambiguous cases providing uncertainty information, and in ambiguous scenes where an uncertainty per mode is desired. On a technical front, our network regresses continuous Bingham mixture models and is applicable to both 2D data such as images and to 3D data such as point clouds. We proposed new training strategies so as to avoid mode or posterior collapse during training and to improve numerical stability. Our methods are thoroughly tested on two different applications exploiting two different modalities: (i) 6D camera relocalization from images; and (ii) object pose estimation from 3D point clouds, demonstrating decent advantages over the state of the art. For the former we contributed our own dataset composed of five indoor scenes where it is unavoidable to capture images corresponding to views that are hard to uniquely identify. For the latter we achieve the top results especially for symmetric objects of ModelNet dataset.

연구 동기 및 목표

• 대칭적이거나 반복적인 구조를 가진 모호한 실세계 장면에서 단일 해를 갖는 자세 추정의 한계를 해결한다.
• 단일 예측뿐만 아니라, 모호한 경우의 여러 가능한 가설들 사이의 자세 불확실성도 모델링한다.
• 회전에 대해 연속적인 바이닝 혼합 모델을 회귀하고, 이동에 대해 가우시안 혼합 모델을 사용하는 딥 러닝 프레임워크를 개발한다.
• 기존의 WTA 기반 학습 전략을 통해 다중모드 자세 예측에서 모드 붕괴를 방지하고 학습 안정성을 향상시킨다.
• 2차원 이미지 기반 카메라 재로컬라이제이션 및 3차원 포인트 클라우드 기반 물체 자세 추정 작업에서 뛰어난 성능을 입증한다.

제안 방법

• 쿼터니언 위에 단일 바이닝 분포를 회귀하여 자세 불확실성을 모델링하는 단일 모드 바이닝 네트워크(Unimodal Bingham Network, UBN)를 제안한다.
• UBN을 다중모드 바이닝 네트워크(Multimodal Bingham Network, MBN)로 확장하여, 다수의 타원형 바이닝 분포 혼합을 통해 여러 가능한 자세를 포착한다.
• 이동 성분의 불확실성을 연계하기 위해 가우시안 혼합 모델(Gaussian Mixture Models, GMMs)을 사용하여 이동을 모델링한다.
• 바이닝 혼합 모델에서 모드 붕괴를 방지하고 학습을 안정화하기 위해 새로운 WTA(승자독점) 손실 전략을 도입한다.
• 회전 예측을 위한 지오데식 손실과 이동 예측을 위한 L1 손실을 각각 사용하여, 자세의 리만 다양체 위에서 최적화를 향상시킨다.
• 주 등에 의해 제안된 6차원 연속적 자세 표현을 활용하여 SO(3) 매핑에서의 불연속성을 방지한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 3차원 자세 추정에서 모호성을 포착하기 위해 다중모드 자세 분포를 효과적으로 모델링할 수 있는가?
• RQ2 단일 및 다중 자세 가설에 대해 불확실성을 의미적으로 정량화하고 회귀할 수 있는가?
• RQ3 바이닝 분포를 사용한 자세 추정에서 혼합 모델의 모드 붕괴를 방지하기 위한 새로운 학습 목표는 가능한가?
• RQ4 제안된 프레임워크는 모호하지 않은 경우와 모호한 경우 모두에서 최신 기술 수준의 방법을 초월하는가?
• RQ5 이 프레임워크는 2차원 이미지와 3차원 포인트 클라우드와 같은 다양한 모odalities로 일반화 가능한가?

주요 결과

• 제안된 MBN 모델은 저자들이 자체 제작한 모호한 실내 데이터셋에서 20°/0.3m 임계값에서 0.56의 성공률을 기록하며, 6차원 카메라 재로컬라이제이션 작업에서 최신 기술 수준의 성능을 달성했다.
• 3차원 물체 자세 추정을 위한 ModelNet10 데이터셋에서, MBN는 평균 이동 오차 1.079를 기록하여 MDN(1.140)과 MC-Dropout(2.192)를 모두 능가했다.
• MBN에 WTA 손실을 포함시킴으로써 표준 MDN 기반 학습 대비 평균 10%의 오차 감소를 기록하여 성능 향상이 뚜렷했다.
• 이 프레임워크는 단일모드 및 다중모드 자세 분포를 효과적으로 모델링할 수 있었으며, 모호한 장면에서 각 모드의 불확실성을 보고할 수 있었다.
• 이 방법은 다양한 모달리티로 잘 일반화되었으며, 이미지 기반 재로컬라이제이션과 포인트 클라우드 기반 물체 자세 추정 모두에서 뛰어난 성능을 보였다.
• 6차원 자세 표현과 바이닝 혼합 모델의 사용은 SO(3)에서의 불연속성이 없이 안정적이고 연속적인 최적화를 가능하게 했다.