[논문 리뷰] SelectFusion: A Generic Framework to Selectively Learn Multisensory Fusion.

Changhao Chen, Stefano Rosa외 3명|arXiv (Cornell University)|2019. 12. 30.

Robotics and Sensor-Based Localization참고 문헌 70인용 수 7

한 줄 요약

SelectFusion는 단일 영상과 관성 측정 또는 깊이와 LIDAR와 같은 다중 모odal 데이터를 결정적 소프트 융합과 확률적 하드 융합를 사용하여 선택적으로 통합하는 엔드 투 엔드로 해석 가능한 센서 융합 프레임워크를 제안한다. 센서의 열악한 조건에서 특징 신뢰도를 동적으로 평가함으로써 직접 융합보다 더 높은 강건성을 확보한다.

ABSTRACT

Autonomous vehicles and mobile robotic systems are typically equipped with multiple sensors to provide redundancy. By integrating the observations from different sensors, these mobile agents are able to perceive the environment and estimate system states, e.g. locations and orientations. Although deep learning approaches for multimodal odometry estimation and localization have gained traction, they rarely focus on the issue of robust sensor fusion - a necessary consideration to deal with noisy or incomplete sensor observations in the real world. Moreover, current deep odometry models also suffer from a lack of interpretability. To this extent, we propose SelectFusion, an end-to-end selective sensor fusion module which can be applied to useful pairs of sensor modalities such as monocular images and inertial measurements, depth images and LIDAR point clouds. During prediction, the network is able to assess the reliability of the latent features from different sensor modalities and estimate both trajectory at scale and global pose. In particular, we propose two fusion modules based on different attention strategies: deterministic soft fusion and stochastic hard fusion, and we offer a comprehensive study of the new strategies compared to trivial direct fusion. We evaluate all fusion strategies in both ideal conditions and on progressively degraded datasets that present occlusions, noisy and missing data and time misalignment between sensors, and we investigate the effectiveness of the different fusion strategies in attending the most reliable features, which in itself, provides insights into the operation of the various models.

연구 동기 및 목표

• 실세계 센서 열화 조건에서 딥러닝 기반 센서 융합의 강건성 부족 문제를 해결한다.
• 모델이 신뢰할 수 있는 센서 특징을 평가하고 우선순위를 정할 수 있도록 다중 모달 융합의 해석 가능성 향상.
• 단일 영상 카메라와 IMU 또는 깊이와 LIDAR와 같은 다양한 센서 조합에 적용 가능한 일반적인 엔드 투 엔드 프레임워크 개발.
• 차차 악화되는 조건(예: 가림, 노이즈, 데이터 손실, 시간 이격)에서 융합 전략 평가.

제안 방법

• 신뢰도에 따라 다양한 센서 모달리티의 특징을 동적으로 가중치를 매기는 주의 메커니즘을 사용하는 선택적 융합 모듈 도입.
• 두 가지 다른 융합 전략 구현: 학습된 주의 가중치로 특징을 조합하는 결정적 소프트 융합, 모달리티 간 분포에서 샘플링하는 확률적 하드 융합.
• 다양한 센서의 잠재 표현으로부터 동시에 궤적 추정 및 글로벌 자세 추정을 수행하도록 네트워크 설계.
• 센서 열화 조건에서 정확도와 강건성을 동시에 최적화하기 위해 엔드 투 엔드로 모델 훈련.
• 추론 중에 가장 신뢰도 높은 특징에 주의를 기울일 수 있도록 주의 기반 메커니즘 구현.
• 점차 악화되는 수준의 열화를 가진 데이터셋을 통해 융합 전략 평가하여 강건성과 특징 선택 행동 테스트.

실험 결과

연구 질문

• RQ1 주의 메커니즘을 사용한 선택적 융합이 센서 열화 조건에서 직접 융합보다 강건성 향상에 기여하는 방식은 무엇인가?
• RQ2 노이즈 또는 불완전한 조건에서 모델이 다양한 센서 모달리티의 신뢰할 수 있는 특징을 얼마나 잘 식별하고 우선순위를 정할 수 있는가?
• RQ3 다양한 열화 수준에서 결정적 소프트 융합과 확률적 하드 융합의 성능 및 해석 가능성은 어떻게 비교되는가?
• RQ4 주의 메커니즘이 각 시간 단계에서 예측에 가장 기여하는 센서 모달리티를 의미 있는 방식으로 제공할 수 있는가?

주요 결과

• SelectFusion는 이상적 조건과 열화 조건 모두에서 직접 융합보다 뛰어난 성능을 보이며, 센서 노이즈, 가림, 시간 이격에 대한 강건성이 향상됨.
• 주의 메커니즘이 효과적으로 가장 신뢰도 높은 센서 특징을 식별하고 강조하여 모델의 해석 가능성 향상.
• 극심한 열화 조건에서 확률적 하드 융합은 모델이 신뢰도에 따라 모달리티 간 전환할 수 있도록 하여 더 높은 내구성 확보.
• 결정적 소프트 융합은 중간 수준의 노이즈와 부분적 가림 조건에서 일관된 성능 향상을 보이며, 모든 열화 수준에서 유의미한 성능 향상 제공.
• 한 모달리티가 심각하게 열화된 경우에도 궤적 및 글로벌 자세 추정의 높은 정확도 유지.
• 제거 실험 결과, 선택적 융합 메커니즘이 실제 센서 과제에 대응하는 데 필수적임을 확인하였으며, 직접 융합의 경우 실세계 조건에서 급격한 성능 저하 발생.