[논문 리뷰] Multimodal Representation Learning by Alternating Unimodal Adaptation

Xiaohui Zhang, Jaehong Yoon외 2명|arXiv (Cornell University)|2023. 11. 17.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 다중모态 표현 학습 프레임워크인 MLA를 제안한다. MLA는 공유 헤드를 지속적으로 개선하여 교차모달 상호작용을 포착하면서도, 단일모달 인코더를 번갈아 최적화하는 방식을 사용한다. 기울기 수정을 통해 기억 상실을 방지하고, 추론 시 불확실성 기반 융합을 적용함으로써, 다섯 가지 다양한 데이터셋에서 기존 방법들을 능가하며, 특히 모달리티가 누락되거나 불균형한 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Multimodal learning, which integrates data from diverse sensory modes, plays a pivotal role in artificial intelligence. However, existing multimodal learning methods often struggle with challenges where some modalities appear more dominant than others during multimodal learning, resulting in suboptimal performance. To address this challenge, we propose MLA (Multimodal Learning with Alternating Unimodal Adaptation). MLA reframes the conventional joint multimodal learning process by transforming it into an alternating unimodal learning process, thereby minimizing interference between modalities. Simultaneously, it captures cross-modal interactions through a shared head, which undergoes continuous optimization across different modalities. This optimization process is controlled by a gradient modification mechanism to prevent the shared head from losing previously acquired information. During the inference phase, MLA utilizes a test-time uncertainty-based model fusion mechanism to integrate multimodal information. Extensive experiments are conducted on five diverse datasets, encompassing scenarios with complete modalities and scenarios with missing modalities. These experiments demonstrate the superiority of MLA over competing prior approaches. Our code is available at https://github.com/Cecile-hi/Multimodal-Learning-with-Alternating-Unimodal-Adaptation.

연구 동기 및 목표

• 공동 학습 중 주로 사용되는 모달리티가 보조 모달리티를 압도하는 다중모달 학습에서의 모달리티 게으름 문제를 해결한다.
• 공동 최적화의 한계를 극복하여, 보다 덜 주목받는 모달리티에서 간섭과 최적화가 불완전해지는 문제를 해결한다.
• 독립적인 단일모달 최적화를 가능하게 하면서도 교차모달 지식을 유지할 수 있는 방법을 개발함으로써 모델의 균형과 성능을 향상시킨다.
• 훈련 또는 추론 도중 일부 모달리티가 누락될 수 있는 실제 환경에서도 견고성을 확보한다.
• 예측 불확실성에 기반해 동적으로 모달리티 예측에 가중치를 할당하는 추론 시 융합 메커니즘을 도입하여 최종 결정 품질을 향상시킨다.

제안 방법

• 모든 모달리티에 걸쳐 공유 헤드를 유지하면서, 각 단계에서 오직 한 모달리티의 인코더만 갱신하는 방식으로 공동 다중모달 학습을 단일모달 학습의 번갈아 적용 과정으로 재구성한다.
• 모든 모달리티에 걸쳐 지속적으로 최적화되는 공유 헤드를 유지하여 교차모달 표현을 포착한다.
• 모달리티 간 기울기 방향을 수직으로 만들기 위해 기울기 수정 기법을 적용하여, 공유 헤드가 이전에 학습한 모달리티 특화 정보를 잊는 것을 방지한다.
• 모달리티별 인코더를 사용하여 독립적으로 단일모달 표현을 학습함으로써, 훈련 중 간섭을 줄인다.
• 추론 시에는 예측 불확실성 기반 융합 메커니즘을 적용하여, 각 모달리티의 예측에 불확실성 점수에 따라 동적 가중치를 할당한다.
• 불확실성 지표는 예측 신뢰도를 평가하며, 높은 불확실성은 최종 융합에서의 기여도를 낮춘다.

실험 결과

연구 질문

• RQ1 단일모달 적응을 번갈아 적용하는 방식이 다중모달 모델에서 모달리티 우세성을 줄이고 학습 균형을 향상시키는 데 효과적인가?
• RQ2 공유 헤드에서 모달리티 특화 지식의 치명적인 기억 상실을 방지하는 데 기울기 수정 기법이 얼마나 효과적인가?
• RQ3 불확실성 기반 추론 시 융합이 모달리티가 신뢰할 수 없거나 누락된 경우에도 다중모달 예측 성능을 향상시키는가?
• RQ4 제안된 방법이 완전한 모달리티와 누락된 모달리티 상황 모두에 일반화되는가?
• RQ5 다양한 다중모달 데이터셋에서 기존 베이스라인과 비교해 볼 때, MLA의 견고성과 성능은 어떠한가?

주요 결과

• MLA는 CMN, HICO-DET, VQA v2를 포함한 다섯 가지 다양한 다중모달 데이터셋에서 최신 기준 성능을 달성하며, CLIP 및 OGM-GE와 같은 강력한 베이스라인을 능가한다.
• VQA v2 데이터셋에서 MLA는 CLIP의 정확도 72.22%에서 72.22% (정확 일치)로 향상되었고, 상위 5개 정답 정확도는 83.98%에서 85.34%로 상승하여 일관된 성능 향상을 보였다.
• MLA는 표현 학습에서 더 큰 모달리티 갭을 보이며 모달리티 게으름을 크게 감소시켰다. 이는 보조 모달리티가 더 잘 활용되고 있음을 시사한다.
• 모달리티가 훈련 중 최대 90%까지 누락된 상황에서도 MLA는 강력한 성능 유지를 보이며 잘 일반화됨을 입증했다.
• 추론 시 불확실성 기반 융합 메커니즘이 고불확실성 모달리티 예측의 기여도를 낮춰 최종 예측 품질을 향상시켰다.
• 기울기 수정 기법이 치명적인 기억 상실을 효과적으로 방지하여, 번갈아 학습 단계 동안 안정적인 교차모달 지식 유지가 가능했다.