[논문 리뷰] Probabilistic orientation estimation with matrix Fisher distributions

David Mohlin, G. Bianchi외 1명|arXiv (Cornell University)|2020. 06. 17.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 18

한 줄 요약

이 논문은 3D 회전 불확실성을 모델링하기 위해 행렬 포아송 분포를 사용하는 딥러닝 방법을 제안한다. 네트워크가 이 분포의 비제약 파라미터를 예측하도록 훈련시키고, 볼록한 음의 로그우도 손실을 통해 최적화함으로써 Pascal3D+, ModelNet10-SO(3), UPNA 헤드 포즈 데이터셋에서 최신 기술 수준의 성능을 달성하며, 훈련 안정성과 불확실성 캘리브레이션 향상도 이룩한다.

ABSTRACT

This paper focuses on estimating probability distributions over the set of 3D rotations ($SO(3)$) using deep neural networks. Learning to regress models to the set of rotations is inherently difficult due to differences in topology between $\mathbb{R}^N$ and $SO(3)$. We overcome this issue by using a neural network to output the parameters for a matrix Fisher distribution since these parameters are homeomorphic to $\mathbb{R}^9$. By using a negative log likelihood loss for this distribution we get a loss which is convex with respect to the network outputs. By optimizing this loss we improve state-of-the-art on several challenging applicable datasets, namely Pascal3D+, ModelNet10-$SO(3)$ and UPNA head pose.

연구 동기 및 목표

• 딥 네트워크를 사용하여 SO(3), 즉 3D 회전의 다변량(manifold)에 대한 확률 분포를 추정하는 과제를 해결하기 위해.
• 딥 네트워크의 비제약 출력(R^9)과 비선형적이고 닫힌 다변량 SO(3) 사이의 위상적 불일치 문제를 해결하기 위해.
• 손실 함수가 볼록하고 기울기가 유계인 점을 통해 3D 회전 추정의 안정적이고 효과적인 훈련을 가능하게 하기 위해.
• 복잡한 제약 강제 조건 없이도 3D 회전의 모드와 불확실성을 모두 모델링할 수 있는 확률적 프레임워크를 제공하기 위해.
• 기존 방법들과 비교해 다수의 벤치마크 데이터셋에서 뛰어난 성능과 강건성을 입증하기 위해.

제안 방법

• 이 방법은 행렬 포아송 분포의 파라미터를 추정하기 위해 딥 네트워크를 사용하며, 이 파라미터는 비제약적이며 R^9와 위상동형(Homeomorphic)이므로 직접 회귀가 가능하다.
• 행렬 포아송 분포의 음의 로그우도를 훈련 손실로 사용하며, 이는 네트워크 출력에 대해 볼록하므로 안정적인 최적화를 보장한다.
• 훈련 중에 계산이 어려운 정규화 상수를 효율적으로 계산하기 위해 미분 가능한 근사 방법을 사용한다.
• 네트워크는 엔드 투 엔드로 회전에 대한 전체 분포를 예측하도록 훈련되어, 모드 추정과 불확실성 정량화 모두를 가능하게 한다.
• 일반화 및 강건성 향상을 위해 데이터 증강, 클래스 임베딩, 투영 기반 이미지 전처리(Homography)를 포함한다.
• 예측된 행렬 포아송 분포를 사용하여 후속 작업을 위한 가장 가능성이 높은 회전과 그에 따른 불확실성을 추정한다.

실험 결과

연구 질문

• RQ1 비제약 파rameter화를 사용하여 딥 네트워크가 3D 회전에 대한 전체 확률 분포를 출력하도록 훈련시킬 수 있는가?
• RQ2 행렬 포아송 분포의 음의 로그우도를 손실로 사용할 경우, 기울기가 유계인 볼록 최적화 문제로 이어지는가?
• RQ3 이 방법은 Pascal3D+, ModelNet10-SO(3), UPNA 헤드 포즈와 같은 3D 회전 추정 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 이 방법은 회전 대칭성과 모호한 자세를 어떻게 다루며, 불확실성 추정에서의 행동은 어떠한가?
• RQ5 데이터 증강, 클래스 임베딩, 이미지 전처리의 상대적 기여도는 무엇인가?

주요 결과

• 제안된 방법은 Pascal3D+ 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 중앙 오차는 8.9도, π/6 기준 정확도는 90.8%를 기록했다.
• ModelNet10-SO(3) 벤치마크에서 이전 방법들을 초월하며, 물체 수준의 3D 회전 추정에 대해 강력한 일반화 성능을 보였다.
• UPNA 헤드 포즈 데이터셋에서 높은 정확도를 달성하여 실제 환경의 헤드 포즈 변화에 대해 강건함을 입증했다.
• 절단 실험 결과, 데이터 증강이 가장 중요한 구성 요소임을 확인하였으며, 클래스 임베딩과 투영 기반 전처리는 Pascal3D+에서 추가적 이점이 거의 없거나 없음을 보였다.
• 음의 로그우도 손실의 볼록성 덕분에 안정적인 훈련을 보였으며, 오일러 각도나 퀼터니언 기반 접근 방식에서 흔히 발생하는 국소 최소값 문제를 피했다.
• 네트워크는 불확실성을 적절히 모델링한다: 훈련 초반에는 모호한 축은 거의 균일 분포를 부여하고, 훈련이 진행됨에 따라 정확한 자세가 학습되면 불확실성이 감소한다.