[논문 리뷰] Maximum Likelihood Estimation for Multimodal Learning with Missing Modality

Fei Ma, Xiangxiang Xu외 2명|arXiv (Cornell University)|2021. 08. 24.

Speech and Audio Processing참고 문헌 50인용 수 9

한 줄 요약

이 논문은 최대우도추정(MLE) 기반의 프레임워크를 제안하여 결손 모odal이 있는 데이터를 효과적으로 활용한다. 이는 완전한 모달리티 샘플과 결손 모달리티 샘플의 조건부 분포를 모델링함으로써 이루어지며, 종단간 훈련을 가능하게 하는 일반화된 소프트맥스 함수를 도입하여, 훈련 데이터의 95%가 결손 모달리티를 가진 상황에서도 최첨단 성능을 달성한다.

ABSTRACT

Multimodal learning has achieved great successes in many scenarios. Compared with unimodal learning, it can effectively combine the information from different modalities to improve the performance of learning tasks. In reality, the multimodal data may have missing modalities due to various reasons, such as sensor failure and data transmission error. In previous works, the information of the modality-missing data has not been well exploited. To address this problem, we propose an efficient approach based on maximum likelihood estimation to incorporate the knowledge in the modality-missing data. Specifically, we design a likelihood function to characterize the conditional distribution of the modality-complete data and the modality-missing data, which is theoretically optimal. Moreover, we develop a generalized form of the softmax function to effectively implement maximum likelihood estimation in an end-to-end manner. Such training strategy guarantees the computability of our algorithm capably. Finally, we conduct a series of experiments on real-world multimodal datasets. Our results demonstrate the effectiveness of the proposed approach, even when 95% of the training data has missing modality.

연구 동기 및 목표

• 센서 장애나 전송 오류로 인해 훈련 데이터에 결손 모달리티가 포함된 경우 다중모달 학습에서 성능이 떨어지는 문제를 해결한다.
• 기존 방법들이 결손 모달리티 데이터를 버리거나 이론적으로 타당성이 없는 히ュ리스틱 융합 전략을 사용하는 한계를 극복한다.
• 이론적으로 타당성이 있으며 종단간 훈련이 가능한 프레임워크를 개발하여, 모달리티가 완전한 데이터와 결손된 데이터를 모두 활용해 분류 성능을 향상시킨다.
• MLE 최적화와 호환되는 일반화된 소프트맥스 함수를 설계하여 훈련의 계산 효율성과 유연성을 확보한다.

제안 방법

• 이론적 최적성을 보장하면서도 모달리티가 완전한 데이터와 결손된 데이터의 조건부 분포를 모델링하기 위해 우도 함수를 수립한다.
• 모든 데이터 유형에서 MLE 목표 함수의 미분 가능하고 종단간 최적화를 가능하게 하기 위해 일반화된 소프트맥스 함수를 도입한다.
• 완전한 모달리티 샘플과 결손 모달리티 샘플의 증거를 통합한 공동 로그우도 목표 함수를 사용해 모델을 훈련한다.
• 딥 네ural 네트워크(예: ResNet, VGG)를 사용해 모달리티별 특징을 추출하고, 프레임워크는 표현 학습과 결손 처리를 함께 학습한다.
• 실세계 데이터셋인 eNTERFACE’05와 RAVDESS를 사용해 다중모달 분류 과제에 프레임워크를 적용한다.
• 모달리티가 결손된 경우에 따라 네트워크 아키텍처(예: ResNet-50 대비 VGG-16)를 적응시켜 모델의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 다중모달 학습에서 모달리티가 완전한 데이터와 결손된 데이터를 모두 모델링할 수 있는 이론적으로 최적의 우도 함수를 구성할 수 있는가?
• RQ2 모달리티 정보가 일부 결손된 상황에서 최대우도추정(MLE)을 종단간 훈련 가능한 방식으로 어떻게 구현할 수 있는가?
• RQ3 훈련 데이터에서 모달리티 결손 비율이 매우 높은 경우(예: 95%)에도 모델이 여전히 높은 분류 정확도를 달성할 수 있는가?
• RQ4 기존 방법들(결손 데이터를 기각하거나 히ュ리스틱 보간 전략을 사용)보다 제안된 방법이 성능에서 뛰어나게 되는가?
• RQ5 특징 추출기 선택(예: ResNet-50 대비 VGG-16)이 다양한 결손 모달리티 조건에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 MLE 기반 방법은 특히 모달리티가 결손된 데이터가 많을 경우 기준 방법보다 유의미하게 높은 분류 정확도를 달성한다.
• 훈련 샘플의 95%가 모달리티를 잃은 상황에서도 모델은 강력한 성능을 유지하여 극단적인 결손성에 대한 강건성을 입증한다.
• 일반화된 소프트맥스 함수는 효과적인 종단간 훈련을 가능하게 하여, 다단계 접근 방식에 비해 계산 효율성과 모델 수렴 속도를 향상시킨다.
• 자동에코더 기반 기준 방법(AE1 및 AE2)보다 성능이 뛰어나며, 특히 모달리티가 완전한 데이터가 많아질수록 그 격차가 커진다.
• 특징 추출기 선택에 따라 성능이 달라지며, 시각 모달리티가 결손된 경우 ResNet-50가 더 높은 정확도를 보이고, 청각 모달리티가 결손된 경우 ResNet-34가 더 우수한 성능을 낸다.
• 이론적 우도 함수는 히ュ리스틱 방법이나 타당성 없는 근거 없이 설계된 방법에 비해 결손 데이터로부터 학습하기 위한 견고한 기반을 제공한다.