[논문 리뷰] Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose Regression and Odometry-aided Absolute Pose Regression

Felix Ott, Nisha Lakshmana Raichur외 5명|arXiv (Cornell University)|2022. 08. 01.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 상대 자세 회귀(RPR) 및 오ド오토리 보조 절대 자세 회귀(APR)를 위한 딥 뷰잉-자기장 다중모달 융합을 벤치마킹하며, 자세 그래프 최적화(PGO), 다중모달 변환 모듈(MMTM), 보조/베이지안 학습을 사용하는 새로운 융합 프레임워크를 제안한다. EuRoC MAV, PennCOSYVIO, 그리고 새로운 대규모 산업용 IndustryVI 데이터셋에서 최신 기술 수준의 정확도를 달성하였으며, MMTM 기반 융합과 PGO는 영상 손상 및 센서 노이즈 상황에서도 뛰어난 일반화 및 강건성을 보였다.

ABSTRACT

Visual-inertial localization is a key problem in computer vision and robotics applications such as virtual reality, self-driving cars, and aerial vehicles. The goal is to estimate an accurate pose of an object when either the environment or the dynamics are known. Absolute pose regression (APR) techniques directly regress the absolute pose from an image input in a known scene using convolutional and spatio-temporal networks. Odometry methods perform relative pose regression (RPR) that predicts the relative pose from a known object dynamic (visual or inertial inputs). The localization task can be improved by retrieving information from both data sources for a cross-modal setup, which is a challenging problem due to contradictory tasks. In this work, we conduct a benchmark to evaluate deep multimodal fusion based on pose graph optimization and attention networks. Auxiliary and Bayesian learning are utilized for the APR task. We show accuracy improvements for the APR-RPR task and for the RPR-RPR task for aerial vehicles and hand-held devices. We conduct experiments on the EuRoC MAV and PennCOSYVIO datasets and record and evaluate a novel industry dataset.

연구 동기 및 목표

• 어려운 실세계 환경에서 뷰잉-자기장 자세 추정을 위한 딥 다중모달 융합 기법을 평가하고 비교하기.
• 오도메트리 기반 궤적 일관성을 활용하여 뷰잉 APR과 자이로스코픽 RPR를 융합하여 절대 자세 회귀(APR) 성능을 향상시키기.
• 적응형 융합 메커니즘과 불확실성 추정을 통해 영상 열화 및 센서 노이즈에 대한 강건성을 향상시키기.
• 신규로 제작된 대규모 산업용 실내 데이터셋인 IndustryVI 포함 다양한 데이터셋을 기반으로 종합적인 벤치마킹 수립하기.
• 손상된 입력 조건 하에서 센서 편향과 모달리티 신뢰도의 영향을 활성화 분석 및 불확실성 정량화를 통해 탐구하기.

제안 방법

• 시각 APR(PoseNet), 자이로스코픽 RPR(IMUNet), 시각 RPR(Flownet)를 기본 모델로 사용하는 다단계 융합 프레임워크 제안.
• 융합된 시각 및 자이로스코픽 시퀀스 간 궤적 추정의 전역 일관성을 확보하기 위해 자세 그래프 최적화(PGO) 적용.
• 중간 단계 융합을 위한 다중모달 변환 모듈(MMTM) 도입으로, 다중 모달 간 학습 가능한 동적 주의 기반 특징 가중치 조정 가능.
• 연결(concatenation) 및 BiLSTM 레이어를 통한 소프트 융합을 활용해 융합 전략의 비교 분석을 수행.
• 주 작업 성능 향상을 위한 보조 학습과 애럴레틱 불확실성 추정을 위한 베이지안 신경망(BNNs) 통합.
• 영상 손상 기법(흐림, 노이즈, 가림)을 사용해 입력 열화 조건 하에서 모달리티 신뢰도 및 융합 적응성 평가.

실험 결과

연구 질문

• RQ1 비디오-자기장 다중모달 융합이 단일 모달 기반 베이스라인 대비 절대 자세 회귀(APR) 정확도에 어떤 영향을 미치는가?
• RQ2 이미지 열화 조건 하에서 후기 융합, 중간 융합, 또는 주의 기반 융합 중 어떤 전략이 가장 강건하고 정확한 자세 추정을 제공하는가?
• RQ3 자세 그래프 최적화(PGO)가 APR 및 RPR 작업에서 궤적의 매끄러움과 전역 일관성에 얼마나 기여하는가?
• RQ4 보조 학습과 베이지안 불확실성 추정은 도전적인 조건에서 모델의 강건성과 신뢰도를 얼마나 향상시키는가?
• RQ5 영상 손상 조건에서 모달리티 신뢰도는 어떻게 변화하며, 융합 네트워크는 시각 조건이 열화된 상황에서 자이로스코픽 데이터를 어떻게 적응적으로 우선순위를 둔다?

주요 결과

• EuRoC MAV 데이터셋에서 APR_V-RPR_I + PGO 융합 방법이 가장 높은 성능을 기록하였으며, 다른 융합 전략보다 더 매끄럽고 정확한 궤적을 생성하였다.
• MMTM 모듈을 사용한 중간 융합 전략은 특히 PennCOSYVIO 및 IndustryVI 데이터셋에서 후기 융합 및 연결 전략보다 뛰어난 성능을 보였으며, 더 나은 모달 간 상호작용과 표현 학습 덕분이었다.
• 세 개의 MMTM 모듈을 융합한 경우 한두 개보다 더 뛰어난 일반화 성능을 보였으며, 복잡한 운동 역학에 대한 깊은 융합의 이점이 있음을 시사했다.
• 보조 학습은 모든 데이터셋에서 주 작업 성능 향상에 기여하였으며, 자세 회귀를 위한 다중 작업 학습에서의 가치를 입증하였다.
• 베이지안 불확실성 추정은 모델의 자신감을 효과적으로 캡처하였으며, 영상 손상된 입력 조건에서 높은 애럴레틱 불확실성 관측이 가능했고, 이는 강건성 분석에 활용될 수 있음을 검증하였다.
• 영상 손상 조건에서 네트워크는 자이로스코픽 특징 쪽으로 주의를 이동시키는 경향을 보였으며, RPR_I 브랜치의 활성화 가중치가 증가한 것으로 나타나, 도전적인 조건 하에서의 적응형 융합이 가능함을 확인하였다.