[논문 리뷰] Learning Multiplicative Interactions with Bayesian Neural Networks for Visual-Inertial Odometry

Kashmira Shinde, Jong‐Seok Lee외 3명|arXiv (Cornell University)|2020. 07. 15.

Robotics and Sensor-Based Localization참고 문헌 34인용 수 5

한 줄 요약

이 논문은 단일 영상-자이로스코프 오도메트리에서 다중 헤드 자기주의를 통해 곱셈 상호작용을 학습함으로써 센서 융합의 강건성을 향상시키는 엔드 투 엔드 베이지안 신경망을 제안한다. 확장 가능한 라플라스 근사법을 활용한 불확실성 추정을 통합함으로써, KITTI 데이터셋에서 최신 기술 수준의 정확도를 달성하고 센서 열화에 대해 뛰어난 저항성을 보이며, 곱셈 상호작용이 강건한 VIO를 위한 강력한 인덕티브 바이어스임을 입증한다.

ABSTRACT

This paper presents an end-to-end multi-modal learning approach for monocular Visual-Inertial Odometry (VIO), which is specifically designed to exploit sensor complementarity in the light of sensor degradation scenarios. The proposed network makes use of a multi-head self-attention mechanism that learns multiplicative interactions between multiple streams of information. Another design feature of our approach is the incorporation of the model uncertainty using scalable Laplace Approximation. We evaluate the performance of the proposed approach by comparing it against the end-to-end state-of-the-art methods on the KITTI dataset and show that it achieves superior performance. Importantly, our work thereby provides an empirical evidence that learning multiplicative interactions can result in a powerful inductive bias for increased robustness to sensor failures.

연구 동기 및 목표

• 자율 주행과 같은 안전 중심 응용 분야에서 센서 열화 상황에서도 강건한 시각-자이로스코프 오도메트리 문제를 해결한다.
• 기존의 덧셈 융합 전략(예: 연결 또는 가중치 부여 융합)의 한계를 극복하여 시각과 자이로스코프 모odal 간의 복잡하고 상보적인 상호작용을 모델링하지 못함을 해결한다.
• 자기주의 기반 메커니즘을 통해 곱셈 상호작용을 학습함으로써 엔드 투 엔드 VIO의 강건성과 일반화 능력 향상 여부를 조사한다.
• 확장 가능한 라플라스 근사를 통한 모델 불확실성 추정을 통합하여 예측의 신뢰성과 해석 가능성 향상.
• 곱셈 융합이 덧셈 융합보다 더 강력한 인덕티브 바이어스임을 입증하며, 특히 악조건의 센서 조건에서의 성능을 확인한다.

제안 방법

• 다중 헤드 자기주의 기반 메커니즘을 활용해 시각적 및 자이로스코프적 특징 간 곱셈 상호작용을 모델링함으로써 동적이고 주의 기반 융합을 가능하게 한다.
• FlowNet 기반 아키텍처를 사용해 연속적인 단일 영상에서 기하학적 특징을 추출하고, 이중 방향 LSTM을 활용해 원시 IMU 측정치를 인코딩한다.
• 융합 함수를 $ f(\mathbf{u}, \mathbf{v}) = \mathbf{v}^T \mathcal{W} \mathbf{u} + \mathbf{v}^T \mathbf{W}_v + \mathbf{W}_u \mathbf{u} + \mathbf{a} $ 로 수식화하며, 곱셈 상호작용의 核심인 학습 가능한 곱셈 항 $ \mathbf{v}^T \mathcal{W} \mathbf{u} $ 에 초점을 맞춘다.
• 확장 가능한 라플라스 근사를 적용하여 네트워크 가중치에 대한 사후 분포를 근사함으로써, $ T = 30 $개의 몬테 카를로 샘플을 사용한 베이지안 불확실성 추정을 가능하게 한다.
• 불확실성 추정의 안정성을 확보하기 위해 헤시안 근사에 $ NF + \tau I $ 를 정규화하여 적용한다. 여기서 $ F $ 는 피셔 정보 근사이다.
• 예측의 평균을 사용하고 불확실성 정량화를 위해 분산을 활용하는 불확실성 인식 손실을 사용하여 엔드 투 엔드 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 다중 헤드 자기주의를 통해 학습된 곱셈 상호작용이 센서 열화 상황에서 엔드 투 엔드 시각-자이로스코프 오도메트리의 강건성을 향상시키는가?
• RQ2 확장 가능한 라플라스 근사를 통한 모델 불확실성 추정이 VIO 예측의 신뢰성과 해석 가능성 향상에 기여하는가?
• RQ3 제안된 방법은 FC-fusion, 소프트/하드 특징 선택 등의 최신 기술 수준의 덧셈 융합 방법과 비교해 정확도 및 강건성 측면에서 어떻게 성능을 내는가?
• RQ4 실제 열악한 센서 조건에서 곱셈 융합 메커니즘이 덧셈 메커니즘보다 더 강력한 인덕티브 바이어스로 작용하는 정도는 어느 정도인가?
• RQ5 예측된 불확실성이 열악한 센서 조건에서 실제 오차 크기와 신뢰성 있게 관련이 있는가?

주요 결과

• 제안된 방법은 정상 조건의 KITTI 시퀀스에서 평균 이동 오차 11.42를 달성하여 VINet, DeepVO, VIO Soft를 포함한 모든 베이스라인을 능가한다.
• IMU 열화 조건에서 평균 이동 오차는 12.48로 감소하였으며, VIO Soft(14.05)와 VINet(13.65)를 크게 앞서나갔다.
• 모든 시각 센서 열화 상황에서 평균 이동 오차는 12.61을 기록하여 VIO Soft(14.59)와 VINet(13.65)를 초월했다.
• 전체 센서 열화 조건에서도 평균 이동 오차 12.47을 유지하여 다른 모델이 실패하거나 심각하게 성능이 떨어지는 상황에서도 강건성을 입증했다.
• 예측된 불확실성은 실제 오차와 양호한 상관관계를 보였으며, 열악한 조건에서 높은 분산이 관찰되어 불확실성 추정의 신뢰성을 검증했다.
• 시각화 결과, 심각한 열화 조건에서도 예측된 궤적은 실제 궤적에 가까이 유지되어 모델의 강건성과 일반화 능력을 확인했다.