[논문 리뷰] Selective Sensor Fusion for Neural Visual-Inertial Odometry

Changhao Chen, Stefano Rosa외 5명|arXiv (Cornell University)|2019. 03. 04.

Robotics and Sensor-Based Localization참고 문헌 10인용 수 6

한 줄 요약

이 논문은 실세계 센서 열화에 대한 강건성을 향상시키기 위해 단일 영상-자이로스코프 온도메트리에 대한 엔드 투 엔드 선택적 센서 융합 프레임워크를 제안한다. 두 가지 융합 전략—결정적 소프트 융합과 확률적 하드 융합—을 도입하여 학습 가능한 마스크를 사용해 시각적 및 자이로스코프적 특징을 동적으로 가중함으로써, 손상된 데이터 하에서 직접 융합보다 뛰어난 성능을 보이며, 융합 마스크의 시각화를 통해 해석 가능한 모odal 기여도를 드러낸다.

ABSTRACT

Deep learning approaches for Visual-Inertial Odometry (VIO) have proven successful, but they rarely focus on incorporating robust fusion strategies for dealing with imperfect input sensory data. We propose a novel end-to-end selective sensor fusion framework for monocular VIO, which fuses monocular images and inertial measurements in order to estimate the trajectory whilst improving robustness to real-life issues, such as missing and corrupted data or bad sensor synchronization. In particular, we propose two fusion modalities based on different masking strategies: deterministic soft fusion and stochastic hard fusion, and we compare with previously proposed direct fusion baselines. During testing, the network is able to selectively process the features of the available sensor modalities and produce a trajectory at scale. We present a thorough investigation on the performances on three public autonomous driving, Micro Aerial Vehicle (MAV) and hand-held VIO datasets. The results demonstrate the effectiveness of the fusion strategies, which offer better performances compared to direct fusion, particularly in presence of corrupted data. In addition, we study the interpretability of the fusion networks by visualising the masking layers in different scenarios and with varying data corruption, revealing interesting correlations between the fusion networks and imperfect sensory input data.

연구 동기 및 목표

• 실세계 센서 결함, 예를 들어 데이터 누락, 노이즈, 정렬 오류 등으로 인한 딥러닝 기반 시각-자이로스코프 온도메트리에서의 강건한 융합 전략 부족 문제를 해결하기 위해.
• 신뢰성과 운동 역학에 기반해 시각적 및 자이로스코프적 특징을 선택적으로 융합할 수 있는 일반적인 엔드 투 엔드 프레임워크를 개발하기 위해.
• 차폐, 흐림, 센서 드리프트 등 데이터 손상 상황에서도 시스템의 강건성과 정확도를 향상시키기 위해.
• 다양한 조건에서 학습된 마스킹 레이어의 시각화를 통해 융합 과정의 해석 가능성을 제공하기 위해.
• 통제된 센서 열화 조건을 가진 다양한 데이터셋에서 프레임워크를 평가하여 직접 융합 기반 모델 대비 우수한 성능을 입증하기 위해.

제안 방법

• 프레임워크는 단일 영상 및 자이로스코프 측정값에서 특징을 추출하기 위해 별도의 시각적 및 자이로스코프적 인코더를 사용한다.
• 새로운 특징 융합 구성 요소는 소프트 마스킹 또는 하드 마스킹을 적용한다: 소프트 융합은 미분 가능한 마스크를 사용해 특징을 가중하며, 하드 융합은 Gumbel-softmax를 사용해 확률적 이진 마스크를 학습한다.
• 소프트 융합 전략은 연결된 시각적 및 자이로스코프적 특징에서 연속적인 마스크를 계산하여, 미분 가능하고 결정적인 특징 가중치를 가능하게 한다.
• 하드 융합 전략은 Gumbel-softmax 샘플링을 통해 확률성을 도입하여 어떤 특징을 유지하거나 제거할지 학습함으로써 노이즈 및 손상된 데이터에 대한 강건성을 향상시킨다.
• 전체 네트워크는 자세 회귀 손실을 통해 엔드 투 엔드로 훈련되며, 특징 추출, 융합, 궤적 추정의 공동 최적화를 가능하게 한다.
• 해석 가능성은 다양한 운동 역학과 데이터 손상 수준에서의 융합 마스크 시각화를 통해 달성된다.

Figure 1 : Visualization of the learned hard and soft fusion masks under different conditions (left: normal data; middle and right: corrupted data). The number (hard) or weights (soft) of selected features in the visual and inertial sides can reflect the self-motion dynamics (increasing importance o

실험 결과

연구 질문

• RQ1 선택적 센서 융합은 신경망 기반 VIO에서 시각적 및 자이로스코프적 특징의 손상되거나 누락된 데이터에 대해 어떻게 강건성을 향상시키는가?
• RQ2 회전 및 선형 이동과 같은 다양한 운동 역학 조건에서 시각적 및 자이로스코프적 모달 간 상대 기여도는 어떻게 되는가?
• RQ3 학습된 융합 마스크는 환경적 및 센서 열화 조건와 어떻게 관련이 있는가?
• RQ4 손상된 상황에서 확률적 하드 융합이 결정적 소프트 융합 및 직접 연결보다 우월한가?
• RQ5 융합 마스크는 각 센서 모달의 강점과 약점을 드러내기 위해 어느 정도 해석 가능하게 되어 있는가?

주요 결과

• 제안된 선택적 융합 프레임워크는 손상된 데이터 하에서도 직접 융합 기반 모델을 능가하며, 자율 주행, MAV, 수동 휴대형 VIO 데이터셋에서 더 높은 강건성과 정확도를 보였다.
• 고속 회전 상황에서는 자이로스코프적 특징이 지배적이며, 고속 선형 이동 상황에서는 시각적 특징이 더 두드러지게 나타나 상호 보완적 강점을 확인했다.
• 이미지 차폐 상황에서는 90퍼센트 이상의 자이로스코프적 특징이 선택되어, 시각적 데이터가 손상되었을 때 시스템이 자이로스코프 데이터에 의존할 수 있음을 입증했다.
• 일반적 또는 경미한 열화 조건에서는 시각적 특징이 지배적(60퍼센트 이상 비차단)이지만, 심각한 열화 상황에서는 그 기여도가 감소하여 자이로스코프적 데이터에 대한 의존도가 증가했다.
• 학습된 하드 융합 마스크는 운동 역학과 강하게 상관되어 있으며, 빠른 회전 상황에서는 더 많은 자이로스코프적 특징이 선택되고, 고속 이동 상황에서는 더 많은 시각적 특징이 선택됨을 보였다.
• 융합 마스크의 시각화 결과는 회전 시 자이로스코프적 가중치 증가 등의 해석 가능한 패턴을 드러내어, 모델의 적응적이고 맥락 인식 기반 융합 행동을 검증했다.

Figure 2 : An overview of our neural visual-inertial odometry architecture with proposed selective sensor fusion, consisting of visual and inertial encoders, feature fusion, temporal modelling and pose regression. In the feature fusion component, we compare our proposed soft and hard selective senso