[논문 리뷰] Robust Deep Multi-Modal Sensor Fusion using Fusion Weight Regularization and Target Learning

Myung Seok Shim, Chenye Zhao외 4명|arXiv (Cornell University)|2019. 01. 29.

Robotics and Sensor-Based Localization참고 문헌 18인용 수 5

한 줄 요약

이 논문은 융합 가중치 정규화와 단조성 목표 학습을 통해 센서 장애에 대한 내성을 향상시키는 강건한 딥 다중모달 센서 융합 아키텍처인 ARGate를 제안한다. 보조 단모달 네트워크를 도입하고 정규화된 손실 및 제약 조건이 부과된 융합 가중치를 적용함으로써, 정상 입력과 손상된 입력 상황 모두에서 정확도와 해석 가능성 모두 향상되며, 장애가 발생하는 센서 상황에서 기준 모델 대비 최대 13.39% 향상된 성능을 기록한다.

ABSTRACT

Sensor fusion has wide applications in many domains including health care and autonomous systems. While the advent of deep learning has enabled promising multi-modal fusion of high-level features and end-to-end sensor fusion solutions, existing deep learning based sensor fusion techniques including deep gating architectures are not always resilient, leading to the issue of fusion weight inconsistency. We propose deep multi-modal sensor fusion architectures with enhanced robustness particularly under the presence of sensor failures. At the core of our gating architectures are fusion weight regularization and fusion target learning operating on auxiliary unimodal sensing networks appended to the main fusion model. The proposed regularized gating architectures outperform the existing deep learning architectures with and without gating under both clean and corrupted sensory inputs resulted from sensor failures. The demonstrated improvements are particularly pronounced when one or more multiple sensory modalities are corrupted.

연구 동기 및 목표

• 센서 장애 상황에서 기존 딥 러닝 기반 센서 융합 모델의 강건성 부족 문제를 해결한다.
• 다중모달 융합 아키텍처에서 특징 중요도의 해석 가능성과 융합 가중치 일관성을 향상시킨다.
• 한 개 이상의 모odal이 장애 발생하거나 노이즈가 발생할 경우에도 내성을 유지하는 게이팅 메커니즘을 개발한다.
• 학습 중 융합 가중치 학습을 안정화하기 위한 정규화 기법을 도입한다.
• 자율주행 및 헬스 모니터링 등 다양한 센서 융합 작업에서 성능을 향상시킨다.

제안 방법

• 주 모델에서 융합 가중치 학습을 규제하기 위해 보조 단모달 네트워크를 갖춘 게이팅 아키텍처인 ARGate를 제안한다.
• 보조 손실을 사용하여 융합 가중치 정규화를 적용함으로써 학습된 융합 가중치의 안정성과 제약을 확보한다.
• 모든 학습 샘플에서 일관되고 해석 가능한 융합 가중치를 강제하기 위해 단조성 융합 목표 학습을 구현한다.
• 중요도에 따라 모달을 동적으로 스케일링할 수 있도록 시그모이드 활성화를 적용한 융합 가중치를 통합함으로써 장애에 대한 내성을 확보한다.
• 주 융합 네트워크를 단모달 브랜치의 보조 지도를 통해 훈련하여 일반화 능력과 가중치 안정성을 향상시킨다.
• 기준 비교 모델로는 이른 융합, 늦은 융합, 딥 융합 전략을 사용하며, ARGate는 딥 게이팅 융합 프레임워크로 작동한다.

실험 결과

연구 질문

• RQ1 융합 가중치 정규화는 센서 장애 상황에서 다중모달 센서 융합의 강건성 향상에 기여하는가?
• RQ2 단조성 융합 목표 학습은 학습된 융합 가중치의 일관성과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 보조 단모달 네트워크 아키텍처는 기존 게이팅 모델 대비 손상된 입력 상황에서 성능 향상에 얼마나 기여하는가?
• RQ4 여러 개의 감각 모달이 동시에 장애가 발생할 경우, 제안된 방법은 성능을 유지하거나 향상시키는가?
• RQ5 다양한 데이터셋에서 ARGate는 비게이팅 및 기존 게이팅 아키텍처(예: NetGated)와 비교해 정확도와 강건성 측면에서 어떻게 성능을 내는가?

주요 결과

• 랜덤으로 장애가 발생한 센서를 가진 5개의 정상 채널 조건에서 드라이버 식별 데이터셋에서 ARGate-L은 NetGated 대비 13.39% 정확도 향상을 기록했다.
• KITTI 데이터셋에서 ARGate-L은 테스트 세트에서 하드 난이도 3D 차량 검출 AP를 4.81% 향상시키고, 중간 난이도에서는 4.63% 향상시켰다.
• HAR 데이터셋에서 ARGate+는 균일한 노이즈 센서 장애 상황에서 5개의 정상 채널 조건에서 기준 모델 대비 8.25% 향상되었고, NetGated 대비 6.27% 향상되었다.
• ARGate-L은 고정 및 랜덤 센서 장애 조건을 포함한 모든 테스트 조건에서 일관된 우수성을 보였으며, 성능 저하 없이 안정성을 유지했다.
• 융합 가중치 정규화 및 단조성 목표 학습 구성 요소는 노이즈 또는 손상된 입력 상황에서 가중치 일관성 저하를 크게 감소시키고 강건성을 향상시켰다.
• KITTI 검증 세트에서 ARGate-L은 AVOD 기준으로 3D 검출 AP(중간 난이도)에서 1.17% 향상되었고, BEV AP에서는 0.4% 향상되었다.