[논문 리뷰] SMIL: Multimodal Learning with Severely Missing Modality

Mengmeng Ma, Jian Ren외 4명|arXiv (Cornell University)|2021. 03. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 11

한 줄 요약

이 논문은 극도로 부족한 모odal 조건에서 다중모달 학습을 위한 베이지안 메타학습 프레임워크인 SMIL을 제안한다—학습 데이터의 최대 90%가 완전한 모달을 갖지 못하는 상황에서도 가능하다. 결측 모달을 동시에 재구성하고 불확실성 인식 추론을 통해 잠재 특징을 정규화함으로써, SMIL은 MM-IMDb, CMU-MOSI, avMNIST에서 최신 기준 성능을 달성하며, VAEs나 GANs와 같은 생성 기반 기준 모델들조차도 극심한 결측성 조건에서도 슈퍼어리어를 기록한다.

ABSTRACT

A common assumption in multimodal learning is the completeness of training data, i.e., full modalities are available in all training examples. Although there exists research endeavor in developing novel methods to tackle the incompleteness of testing data, e.g., modalities are partially missing in testing examples, few of them can handle incomplete training modalities. The problem becomes even more challenging if considering the case of severely missing, e.g., 90% training examples may have incomplete modalities. For the first time in the literature, this paper formally studies multimodal learning with missing modality in terms of flexibility (missing modalities in training, testing, or both) and efficiency (most training data have incomplete modality). Technically, we propose a new method named SMIL that leverages Bayesian meta-learning in uniformly achieving both objectives. To validate our idea, we conduct a series of experiments on three popular benchmarks: MM-IMDb, CMU-MOSI, and avMNIST. The results prove the state-of-the-art performance of SMIL over existing methods and generative baselines including autoencoders and generative adversarial networks. Our code is available at https://github.com/mengmenm/SMIL.

연구 동기 및 목표

• 학습 데이터에 극도로 불완전한 모달이 존재할 때 다중모달 학습을 위한 방법이 부족한 문제를 해결한다—실제 세계에서 흔한 과제이다.
• 학습 시에만 결측 모달을 처리하거나 학습에 완전한 모달이 필요로 하는 기존 접근법의 한계를 극복한다.
• 학습, 테스트 또는 둘 다에서 결측 모달을 다룰 수 있는 유연성과 대부분의 데이터가 불완전한 상황에서도 효과적으로 학습할 수 있는 효율성을 갖춘 통합 프레임워크를 개발한다.
• VAEs나 GANs와 같은 생성 모델이 전처리 단계에서 완전한 모달 데이터에 의존하는 데 기인한 편향을 피할 수 있는 방법을 설계한다.
• 분포 모델링을 위해 광범위한 완전한 모달 데이터를 요구하지 않고도 다양한 결측 패턴에서 강건한 성능을 달성한다.

제안 방법

• 변환 추론을 사용하여 모달 재구성과 잠재 특징 정규화를 동시에 최적화하는 베이지안 메타학습 프레임워크를 제안한다.
• 결측 모달을 동적으로 재구성할 수 있도록 사후 분포에서 모달별 가중치를 생성하는 재구성 네트워크 $\phi_c$를 사용한다.
• 잠재 특징을 교란하여 매끄럽고 일반화 가능한 임bedding을 유도하기 위해 정규화 네트워크 $\phi_r$를 도입하며, 이는 정규화자에 대한 사후 분포를 출력한다.
• 모델 불확실성을 모델링하고 결측 모달에 대한 강건성을 향상시키기 위해 $\phi_c$와 $\phi_r$의 사후 분포에서 스토케스틱 샘플링을 적용한다.
• K-means 클러스터링을 활용해 재구성 네트워크가 결측 모달 특징의 더 정확하고 분리된 표현을 학습하도록 이끈다.
• 모델 가중치와 정규화자에 대한 진정한 사후 분포를 근사하기 위해 변분 추론 문제로 목적함수를 제작함으로써 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전한 모달 데이터에 의존하지 않고도 학습 예제의 최대 90%가 결측 모달을 갖는 상황에서도 다중모달 모델을 효과적으로 학습시킬 수 있는가?
• RQ2 학습, 테스트 또는 둘 다에서 다양한 결측 모달 패턴이 존재하더라도 별도의 아키텍처를 요구하지 않고도 높은 성능을 유지할 수 있는가?
• RQ3 불확실성 유도 정규화를 갖춘 베이지안 메타학습이 낮은 데이터, 높은 결측성 환경에서 표준 생성 모델(VAEs, GANs)보다 우수한 성능을 보일 수 있는가?
• RQ4 모달 재구성과 특징 정규화가 함께 작용할 때 결측 모달 생성의 일반화 능력 향상과 편향 감소에 얼마나 기여하는가?
• RQ5 메타학습된 인덕티브 바이어스 덕분에 미세조정 없이도 새로운 결측 패턴으로 일반화할 수 있는가?

주요 결과

• SMIL은 MM-IMDb, CMU-MOSI, avMNIST에서 최신 기준 성능을 달성하며, 모든 결측 모달 패턴에서 하한 기준 모델(AE, GAN)을 초월한다.
• 5%의 오디오 모달만 존재하는 단일 모달 테스트 상황에서 SMIL은 하한 기준 대비 분류 정확도를 1.10% 향상시켜 극심한 결측성에 대한 강건성을 입증한다.
• 완전 모달에서 단일 모달 테스트로 전환했을 때 SMIL는 성능 하락이 1.0%에 그치지만, AE와 GAN은 5.6%의 하락을 겪어 우수한 유연성을 보인다.
• 제거 실험 결과, K-means 유도 재구성(SMIL w/o K-means)은 F1 점수를 1.0–2.0 포인트 감소시켜 정확한 결측 모달 재구성에 필수적임을 입증한다.
• 특징 정규화를 제거한 경우(SMIL w/o Regularization) F1 점수가 0.015–0.025 하락하여 정규화가 임베딩 불일치를 최소화하는 데 핵심적임을 확인한다.
• 고정된 가우시안 또는 결정론적 추론을 사용할 경우 베이지안 메타학습 대비 F1 점수가 0.01–0.03 낮게 나타나 불확실성 인식 추론의 우월성을 입증한다.