[논문 리뷰] Probabilistic Regression of Rotations using Quaternion Averaging and a Deep Multi-Headed Network

Valentin Peretroukhin, Brandon Wagstaff외 2명|arXiv (Cornell University)|2019. 04. 01.

Advanced Vision and Imaging참고 문헌 27인용 수 6

한 줄 요약

이 논문은 3D 자세 회전의 확률적 회귀를 위해 단위 허수를 사용하고 회전 평균화를 적용하는 딥 다중헤드 신경망인 HydraNet을 제안한다. 이는 잘 校정된 불확실성 추정을 달성하며, KITTI 데이터셋에서 고전적 스테레오 시각 옹도메트리와 융합했을 때 자세 추정 정확도를 향상시킨다. 이는 분포 이탈에 대한 강건성과 향상된 국소화 성능을 보여준다.

ABSTRACT

Accurate estimates of rotation are crucial to vision-based motion estimation in augmented reality and robotics. In this work, we present a method to extract probabilistic estimates of rotation from deep regression models. First, we build on prior work and argue that a multi-headed network structure we name HydraNet provides better calibrated uncertainty estimates than methods that rely on stochastic forward passes. Second, we extend HydraNet to targets that belong to the rotation group, SO(3), by regressing unit quaternions and using the tools of rotation averaging and uncertainty injection onto the manifold to produce three-dimensional covariances. Finally, we present results and analysis on a synthetic dataset, learn consistent orientation estimates on the 7-Scenes dataset, and show how we can use our learned covariances to fuse deep estimates of relative orientation with classical stereo visual odometry to improve localization on the KITTI dataset.

연구 동기 및 목표

• 로봇 및 AR 분야에서 강건한 시각 운동 추정을 위해 필수적인 3D 자세 회전 회귀에 대해 잘 校정된 불확실성 추정을 생성하는 딥 러닝 프레임워크를 개발하는 것.
• 단위 허수와 회전 평균화 기법을 활용하여 다중헤드 네트워크 아키텍처를 회전군 SO(3)로 확장하는 것.
• 딥 확률적 자세 회전 추정치를 고전적 스테레오 시각 옹도메트리와 융합하여 실제 환경에서의 국소화 성능을 향상시키는 것.
• 원칙적인 불확실성 측정을 갖춘 확장 가능한 오픈소스 솔루션을 제공하는 것.

제안 방법

• 이 방법은 각 헤드가 별도의 예측을 생성하는 다중헤드 네트워크 아키텍처인 HydraNet을 사용하며, 이는 확률적 예측의 앙상블처럼 작동하지만 확률적 순환을 통한 전방 계산이 필요로 하지 않는다.
• 자세의 타겟 표현으로 단위 허수를 사용하여 SO(3)의 압축되고 특이점이 없는 매개변수화를 보장한다.
• 다양한 네트워크 헤드로부터의 공통된 자세 추정치를 도출하기 위해 허수 거리 기반의 회전 평균화 기법을 적용하여 강건성과 일관성을 향상시킨다.
• 불확실성은 지식 기반(헤드 간 분산)과 애러터틱 기반(각 헤드의 노이즈) 성분의 조합으로 모델링되며, 校정을 위해 음의 로그우도 손실 함수를 사용한다.
• 이 프레임워크는 SO(3)의 다양체 위에 직접적으로 불확실성을 주입하여 허수 공간 내에서 비균일 공분산 추정이 가능하게 한다.
• 합성 데이터, 일관된 자세 학습을 위한 7-Scenes, 스테레오 시각 옹도메트리와의 융합을 위한 KITTI를 통해 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 딥 다중헤드 네트워크 아키텍처는 스위치 샘플링 방법보다 자세 회귀에 대해 더 잘 校정된 불확실성 추정치를 생성할 수 있는가?
• RQ2 허수 평균화와 다양체 인식 통계 기법을 사용해 SO(3) 군에서 다중헤드 네트워크 출력을 의미 있는 방식으로 집계할 수 있는가?
• RQ3 학습된 확률적 자세 추정치가 실제 환경에서 고전적 스테레오 시각 옹도메트리와 융합되었을 때 국소화 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 빛의 강도나 질감 조건의 변화와 같은 분포 이탈 상황에서도 제안된 방법이 강건성을 유지하는가?

주요 결과

• 1D 회귀 실험에서 HydraNet은 드롭아웃, 직접 회귀, 백킹, 스위치 샘플링 방법보다 음의 로그우도와 평균 제곱오차 측정 기준으로 더 잘 校정된 불확실성 추정치를 확보했다.
• 학습 타겟에 0 평균 정규분포 노이즈를 추가함으로써 고립된 헤드에서 지식 기반 불확실성 추정치가 향상되었지만, 전체 HydraNet 설정에서 애러터틱 불확실성과 결합된 경우는 효과가 없었다.
• 7-Scenes 데이터셋에서 모델은 일곱 개의 모든 시나리오에서 일관되고 정확한 자세 추정치를 학습하여 다양한 실제 환경에 대한 일반화 능력을 입증했다.
• KITTI 데이터셋에서 HydraNet의 확률적 자세 회전 추정치를 고전적 스테레오 시각 옹도메트리와 융합함으로써 궤적 국소화 성능이 향상되었으며, 시퀀스 00, 02, 05의 정상 시각화 궤적도 이를 뒷받침한다.
• 합성 데이터에서 반복적인 학습 런에 걸쳐 음의 로그우도 점수가 낮아져, 기준 모델 대비 불확실성 보정 성능이 뛰어났다.
• 허수 기반의 회전 평균화 기법은 헤드 출력의 높은 분산 조건에서도 일관되고 기하학적으로 타당한 공통 자세 추정치 도출을 가능하게 했다.