[논문 리뷰] i-Code: An Integrative and Composable Multimodal Learning Framework

Ziyi Yang, Yuwei Fang외 18명|arXiv (Cornell University)|2022. 05. 03.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

i-Code는 사전학습된 단모달 인코더와 새로운 융합 네트워크를 활용해 시각, 언어, 청각 표현을 통합하는 자기지도 학습 다중모달 프레임워크이다. 교차모달 주의 메커니즘을 포함한 새로운 융합 네트워크를 통해 이중 및 삼중모달 데이터를 공동으로 사전학습하고, 마스크된 단위 모델링 및 대비 학습 목표를 적용함으로써 다섯 가지 비디오 이해 작업과 GLUE 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 이전 방법 대비 최대 11% 향상된 성능이다.

ABSTRACT

Human intelligence is multimodal; we integrate visual, linguistic, and acoustic signals to maintain a holistic worldview. Most current pretraining methods, however, are limited to one or two modalities. We present i-Code, a self-supervised pretraining framework where users may flexibly combine the modalities of vision, speech, and language into unified and general-purpose vector representations. In this framework, data from each modality are first given to pretrained single-modality encoders. The encoder outputs are then integrated with a multimodal fusion network, which uses novel attention mechanisms and other architectural innovations to effectively combine information from the different modalities. The entire system is pretrained end-to-end with new objectives including masked modality unit modeling and cross-modality contrastive learning. Unlike previous research using only video for pretraining, the i-Code framework can dynamically process single, dual, and triple-modality data during training and inference, flexibly projecting different combinations of modalities into a single representation space. Experimental results demonstrate how i-Code can outperform state-of-the-art techniques on five video understanding tasks and the GLUE NLP benchmark, improving by as much as 11% and demonstrating the power of integrative multimodal pretraining.

연구 동기 및 목표

• 대규모로 완전히 애너테이션된 삼중모달 데이터가 부족한 상황에서 시각, 언어, 청각의 세 모달리티 모델을 효과적으로 훈련하는 데 도전한다.
• 통합된 표현 공간 내에서 단일, 이중, 삼중모달리티를 영향을 미치는 탄력적이고 동적인 처리를 가능하게 한다.
• 대규모 이중모달 데이터셋(예: 이미지-캡션, 음성-번역, 비디오-내레이션)과 함께 삼중모달 데이터를 활용하여 다중모달 표현 학습을 향상시킨다.
• 단일모달 언어 모델과의 성능 격차를 줄이기 위해 다중모달 사전학습을 통해 언어 이해를 향상시켜 NLP 벤치마크에서 성능을 향상시킨다.
• 최신 주의 메커니즘과 자기지도 학습 목표를 활용해 최신 단모달 인코더의 출력을 효과적으로 융합하는 아키텍처를 설계한다.

제안 방법

• 사전학습된 단모달 인코더(시각, 청각, 언어)를 특징 추출기로 사용하여 완전한 학습을 방지한다.
• 다중모달 융합 네트워크를 활용하며, 서로 다른 모달리티 임베딩 간의 상호작용을 가능하게 하는 교차주의 메커니즘을 적용한다.
• 마스크된 단위 모델링을 적용: 모달리티 입력을 이산 토큰으로 간주하고, 사전학습 중에 다양한 모달리티 간에 마스크된 토큰을 예측한다.
• 교차모달 대비 학습 도입: 두 입력 신호(예: 이미지와 텍스트)가 동일한 샘플 쌍 또는 트리플릿에서 유래했는지 여부를 판단한다.
• 다양한 데이터(비디오(V+L+S), 이미지-캡션(V+L), 음성-번역(S+L), 비디오 내레이션(V+S))를 통합하여 엔드 투 엔드로 사전학습함으로써 데이터 효율성을 높인다.
• 다양한 모달리티 조합의 출력이 통합된 임베딩 공간으로 투영되는 공통 표현 공간을 사용한다.

실험 결과

연구 질문

• RQ1 제한된 삼중모달 데이터를 활용하여 시각, 언어, 청각 간의 공동 표현을 효과적으로 학습할 수 있는 다중모달 사전학습 프레임워크는 가능한가?
• RQ2 이중모달 데이터(예: V+L, S+L, V+S)로 사전학습하는 것이 삼중모달 비디오 데이터에만 의존하는 것보다 성능을 향상시키는가?
• RQ3 새로운 주의 메커니즘을 갖춘 융합 모듈이 이질적인 모달리티 표현을 통합하는 데 있어 표준 융합 전략을 능가하는가?
• RQ4 다중모달 모델이 GLUE와 같은 NLP 벤치마크에서 단일모달 언어 모델의 성능을 얼마나 잘 따라잡거나 초월할 수 있는가?
• RQ5 마스크된 단위 모델링과 대비 학습의 통합이 교차모달 정렬 및 최종 작업 일반화에 어떻게 기여하는가?

주요 결과

• i-Code는 다섯 가지 비디오 이해 벤치마크에서 최신 기술 수준 성능을 달성하며, 일부 경우에서 이전 방법 대비 최대 11% 향상된 성능을 기록했다.
• GLUE NLP 벤치마크에서 i-Code는 평균 점수 89.0을 기록하여 DeBERTa V3 Base(88.6)를 초월했으며, UNITER(72.9) 및 CLIP(50.5)와 같은 다른 다중모달 모델보다도 뚜렷한 성능 향상을 보였다.
• 기존 다중모달 모델 대비 언어 전용 작업에서 1.4~4.5점 향상되어 전용 언어 모델과의 격차를 줄였다.
• 언어-청각(L+S) 조합이 MOSEI 정서 인식에서 가장 높은 이중모달 성능(F1: 56.1)을 기록했으며, 단일 모달리티를 초월했다.
• 삼중모달 비디오 데이터로 사전학습하는 것(V+M)에 비해 이중모달 데이터로 사전학습하는 i-Code D+M가 유사하거나 더 높은 성능을 기록하여 데이터 효율성을 입증했다.
• 제거 실험 결과에서 세 모달리티 모두 성능 향상에 기여하며, MOSEI 정서 인식에서 V+L+S 조합이 가장 높은 정확도(49.4%)를 기록했다.