[논문 리뷰] MMANet: Margin-aware Distillation and Modality-aware Regularization for Incomplete Multimodal Learning

Shicai Wei, Yang Luo외 1명|arXiv (Cornell University)|2023. 04. 17.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

MMANet는 마진 인식 드롭아웃(MAD)과 모odal 인식 정규화(MAR)를 사용하여 불완전한 다중모odal 학습을 위한 통합 프레임워크를 제안한다. 교사 네트워크를 통해 종합적인 다중모달 지식을 전이하고, 정규화 네트워크를 통해 약한 모달 조합에 집중함으로써 일반화 능력과 강인성을 향상시켜 다양한 부재 모달 시나리오에서 일관된 성능 향상을 이끌어내며, 다중모달 분류 및 세분화 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Multimodal learning has shown great potentials in numerous scenes and attracts increasing interest recently. However, it often encounters the problem of missing modality data and thus suffers severe performance degradation in practice. To this end, we propose a general framework called MMANet to assist incomplete multimodal learning. It consists of three components: the deployment network used for inference, the teacher network transferring comprehensive multimodal information to the deployment network, and the regularization network guiding the deployment network to balance weak modality combinations. Specifically, we propose a novel margin-aware distillation (MAD) to assist the information transfer by weighing the sample contribution with the classification uncertainty. This encourages the deployment network to focus on the samples near decision boundaries and acquire the refined inter-class margin. Besides, we design a modality-aware regularization (MAR) algorithm to mine the weak modality combinations and guide the regularization network to calculate prediction loss for them. This forces the deployment network to improve its representation ability for the weak modality combinations adaptively. Finally, extensive experiments on multimodal classification and segmentation tasks demonstrate that our MMANet outperforms the state-of-the-art significantly. Code is available at: https://github.com/shicaiwei123/MMANet

연구 동기 및 목표

• 추론 중에 모달 데이터가 누락될 경우 발생하는 다중모달 학습의 성능 저하 문제를 해결하기 위해.
• 불완전한 입력 조건에서도 강인성을 유지하면서 동시에 모달 불변 특징과 모달 특화 특징을 동시에 캡처할 수 있는 통합 모델을 개발하기 위해.
• 기존 통합 접근 방식에서 자주 간과되는 약한 모달 조합에 대한 일반화 능력을 향상시키기 위해.
• 결정 경계 근처의 어려운 샘플과 부족하게 표현된 모달 조합을 적응적으로 우선순위를 부여하는 훈련 프레임워크를 설계하기 위해.

제안 방법

• 완전한 다중모달 데이터로 사전 훈련된 교사 네트워크, 배포 네트워크, 정규화 네트워크로 구성된 세 부분으로 나누어진 프레임워크를 도입한다.
• 분류 불확실성을 기반으로 샘플 손실을 재가중하여 결정 경계 근처의 어려운 샘플에 주목하는 마진 인식 드롭아웃(MAD)을 제안한다.
• 약한 모달 조합을 식별하고 우선순위를 부여하여 표현 학습을 향상시키기 위해 모달 인식 정규화(MAR)를 적용한다.
• 교사 네트워크를 통해 지식 전이를 통해 정교화된 클래스 간 마진을 배포 네트워크에 전달한다.
• 정규화 네트워크를 사용해 보조 예측을 생성하고 약한 모달 조합 전용으로 손실을 계산함으로써 이들의 분류 능력을 향상시킨다.
• MAD와 MAR을 결합하여 모든 모달 조합에서 강인성과 분류 능력을 동시에 최적화하는 배포 네트워크를 공동 최적화한다.

실험 결과

연구 질문

• RQ1 통합 모델은 불완전한 모달 입력 조건에서도 모달 불변 및 모달 특화 정보를 효과적으로 학습하면서 강인성을 유지할 수 있는가?
• RQ2 자주 부족하게 표현되고 학습하기 어려운 약한 모달 조합에 대해 모델을 어떻게 최적화할 수 있는가?
• RQ3 분류 불확실성을 활용해 지식 전이를 유도함으로써 클래스 간 마진 학습을 향상시킬 수 있는가?
• RQ4 모달 인식 정규화가 기존 표준 정규화보다 약한 모달 조합에서 성능 향상에 더 효과적인가?

주요 결과

• CASIA-SURF 데이터셋에서 MMANet는 기본 SF-MD 모델 대비 평균 2.93% 성능 향상을 달성했으며, 이 중 MAD가 기여한 비율은 1.33%였다.
• 제안된 MAD 방법은 표준 지식 전이(SP) 대비 평균 오차율을 1.33% 감소시켰으며, 주로 결정 경계 근처의 어려운 샘플에 집중함으로써 성과를 냈다.
• MAR은 약한 모달 조합에서 평균 0.63% 향상되었으며, RGB 조합에선 1.79%, IR 조합에선 1.63%, RGB+IR 조합에선 1.02% 향상되었다.
• 단일 모달 및 다중 모달 설정을 포함한 모든 모달 조합에서 맞춤형 모델과 기존 통합 모델을 모두 초월하는 성능을 보였다.
• MAR은 표준 정규화(SR) 대비 평균 0.39% 높은 성능을 보이며, 약한 조합을 효과적으로 식별하고 향상시키는 데서 그 효과를 입증했다.
• 다양한 데이터셋과 모달 조합에서 실시한 광범위한 추상화 분석을 통해 MAD와 MAR이 분류 및 세분화 작업 전반에서 일관된 성능 향상을 이끌어내며 효과적임을 확인했다.