[논문 리뷰] Robust Deep Multi-modal Learning Based on Gated Information Fusion Network

Jaekyum Kim, Junho Koh외 4명|arXiv (Cornell University)|2018. 07. 17.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 11

한 줄 요약

이 논문은 RGB 및 LiDar와 같은 다양한 모odal에서의 특징 품질에 따라 가중치를 적응적으로 조정하는 Gated Information Fusion (GIF) 네트워크를 사용하여 고급 다중모달 학습 프레임워크를 제안한다. 이는 품질이 떨어지거나 누락된 입력을 처리하기 위해 선택적 융합을 가능하게 하며, KITTI 및 SUN-RGBD 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 가림, 노이즈, 조명 변화와 같은 악조건에서도 기준 모델보다 뚜렷한 성능 향상을 보이며 mAP에서 앞서고 있다.

ABSTRACT

The goal of multi-modal learning is to use complimentary information on the relevant task provided by the multiple modalities to achieve reliable and robust performance. Recently, deep learning has led significant improvement in multi-modal learning by allowing for the information fusion in the intermediate feature levels. This paper addresses a problem of designing robust deep multi-modal learning architecture in the presence of imperfect modalities. We introduce deep fusion architecture for object detection which processes each modality using the separate convolutional neural network (CNN) and constructs the joint feature map by combining the intermediate features from the CNNs. In order to facilitate the robustness to the degraded modalities, we employ the gated information fusion (GIF) network which weights the contribution from each modality according to the input feature maps to be fused. The weights are determined through the convolutional layers followed by a sigmoid function and trained along with the information fusion network in an end-to-end fashion. Our experiments show that the proposed GIF network offers the additional architectural flexibility to achieve robust performance in handling some degraded modalities, and show a significant performance improvement based on Single Shot Detector (SSD) for KITTI dataset using the proposed fusion network and data augmentation schemes.

연구 동기 및 목표

• 입력 모달이 손상되거나 누락된 경우에도 강건한 다중모달 학습을 달성하고자 한다.
• 특징 품질에 따라 각 모달에서의 정보 흐름을 적응적으로 제어하는 딥 융합 아키텍처를 설계하고자 한다.
• 가림, 노이즈, 조명 변화와 같은 악조건에서의 객체 탐지 성능을 향상시키고자 한다.
• 학습 가능한 엔드 투 엔드 융합 메커니즘을 개발하여, 학습된 게이팅 메커니즘을 통해 모달에 대한 가중치를 동적으로 할당하고자 한다.
• 다양한 실제 세계의 센서 손상 상황에서 제안된 방법의 강건성과 일반화 능력을 검증하고자 한다.

제안 방법

• RGB 및 LiDar 이미지와 같은 각 모달에서 중간 특징을 추출하기 위해 별도의 합성곱 신경망(CNN)을 사용한다.
• Gated Information Fusion (GIF) 네트워크는 학습된 게이팅 메커니즘을 통해 모달별 가중치를 계산하여 이러한 특징을 융합한다.
• 게이팅 가중치는 특징 맵을 연결한 후 컨볼루션 계층을 거친 후 시그모이드 함수를 적용하는 가중치 생성(WG) 네트워크를 통해 생성된다.
• GIF 네트워크는 특징과 해당 가중치를 요소별 곱셈으로 수행하여 입력 품질에 기반한 선택적 융합을 가능하게 한다.
• CNN 기반 모델과 GIF를 포함한 전체 아키텍처는 인공적인 손상 요소를 도입하는 맞춤형 데이터 증강 전략을 사용하여 엔드 투 엔드로 훈련된다.
• 융합 전략은 빈 칸이거나 가림된 영역에서의 신뢰할 수 없는 특징을 억제하면서도 고품질 입력에 대한 기여를 강조할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 한 개 이상의 입력 모달이 손상된 경우에도 깊이 있는 다중모달 학습 시스템이 강건한 성능을 유지할 수 있는가?
• RQ2 학습 가능한 게이팅 메커니즘이 입력 품질에 따라 각 모달의 기여도를 동적으로 조정할 수 있는가?
• RQ3 게이팅 네트워크를 통한 적응형 특징 융합이 악조건에서 고정 또는 비적응형 융합 전략보다 객체 탐지 성능에서 뛰어나게 되는가?
• RQ4 실제 세계의 손상 상황을 시뮬레이션하는 데이터 증강 기법이 다중모달 융합 모델의 강건성 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법은 정상 및 손상된 상황 모두에서 최신 2D 객체 탐지기법보다 뛰어나게 성능을 발휘하는가?

주요 결과

• KITTI 데이터셋에서 제안된 R-DML 방법은 모든 난이도 수준에서 SSD, 3DOP, Mono3D, Deep Manta, MV3D와 비교해 높거나 동일한 평균 평균 정확도(mAP)를 달성한다.
• RGB 이미지 가림 상황에서 R-DML는 35.65 mAP를 기록하여 동일한 테스트 스플릿에서 B-DML(29.39 mAP)과 SSD(30.76 mAP)를 뚜렷이 앞서며 성능을 높였다.
• RGB 모달이 빈 칸이 된 경우 R-DML는 30.76 mAP를 유지했고, B-DML는 28.37 mAP로 떨어져 누락된 데이터에 대한 뛰어난 강건성을 입증했다.
• 확장된 SUN-RGBD 데이터셋에서 R-DML는 RGB+depth 입력으로 40.43 mAP를 기록했으며, B-DML(36.31 mAP)과 감독 전이 방법(26.68 mAP)을 모두 앞섰다.
• 노이즈나 조명 변화와 같은 심각한 손상 조건에서도 R-DML는 강력한 성능(예: 노이즈가 있는 RGB에 대해 32.76 mAP)을 유지했으며, 모든 테스트 시나리오에서 B-DML와 SSD를 앞섰다.
• GIF 메커니즘이 저품질 특징을 성공적으로 억제함을 입증했다—가림되거나 빈 칸인 영역에서는 거의 0에 가까운 가중치를 기록했고, 다른 모달의 고품질 기여는 유지했다.