[논문 리뷰] High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning

Paul Pu Liang, Yiwei Lyu외 7명|arXiv (Cornell University)|2022. 03. 02.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 정보 이론적 지표를 사용하여 모달성과 상호작용 이질성을 측정함으로써 10개의 다양한 모odal로 확장 가능한 다중모달 트랜스포머 모델인 HighMMT를 제안한다. 모달 간 및 모달 쌍 간의 이행 가능한 정보를 측정함으로써 HighMMT는 동적 파rameter 공유를 가능하게 하여 성능-효율성 균형을 향상시키고, 자원이 적거나 미리 보지 못한 모달과 작업 간 효과적인 다중모달 전이 학습을 가능하게 한다.

ABSTRACT

Many real-world problems are inherently multimodal, from spoken language, gestures, and paralinguistics humans use to communicate, to force, proprioception, and visual sensors on robots. While there has been an explosion of interest in multimodal learning, these methods are focused on a small set of modalities primarily in language, vision, and audio. In order to accelerate generalization towards diverse and understudied modalities, this paper studies efficient representation learning for high-modality scenarios involving a large set of diverse modalities. Since adding new models for every new modality becomes prohibitively expensive, a critical technical challenge is heterogeneity quantification: how can we measure which modalities encode similar information and interactions in order to permit parameter sharing with previous modalities? This paper proposes two new information theoretic metrics for heterogeneity quantification: (1) modality heterogeneity studies how similar 2 modalities {X1,X2} are by measuring how much information can be transferred from X1 to X2, while (2) interaction heterogeneity studies how similarly pairs of modalities {X1,X2}, {X3,X4} interact by measuring how much information can be transferred from fusing {X1,X2} to {X3,X4}. We show the importance of these 2 proposed metrics as a way to automatically prioritize the fusion of modalities that contain unique information or interactions. The result is a single model, HighMMT, that scales up to 10 modalities (text, image, audio, video, sensors, proprioception, speech, time-series, sets, and tables) and 15 tasks from 5 research areas. Not only does HighMMT outperform prior methods on the tradeoff between performance and efficiency, it also demonstrates a crucial scaling behavior: performance continues to improve with each modality added, and it transfers to entirely new modalities and tasks during fine-tuning.

연구 동기 및 목표

• 기존 언어, 시각, 청각 이외의 많은 다양한 모달을 포함하는 고모달 환경에서 효율적인 표현 학습에 도전하는 것.
• 유사성과 상호작용 패턴의 이질성을 측정하여 유사한 모달과 융합 패턴 간 지능적인 파rameter 공유를 가능하게 하는 것.
• 다양한 작업과 모달에 일반화되면서도 높은 성능와 효율성을 유지하는 통합 모델을 개발하는 것.
• 특히 자원이 적거나 부분 관측 가능한 환경에서 효과적인 다중모달 전이 학습을 가능하게 하는 것.
• 미래 연구와 덜 연구된 모달로의 일반화를 지원하는 표준화되고 확장 가능한 다중모달 표현 학습 프레임워크를 제공하는 것.

제안 방법

• 두 가지 정보 이론적 지표를 제안한다: 모달 이질성(한 모달에서 다른 모달로 전이 가능한 정보의 양을 측정)과 상호작용 이질성(융합된 모달 쌍 간의 전이 가능성 측정).
• 이 지표들을 사용하여 모달과 융합 패턴을 동적으로 그룹화하고, 정보 내용과 상호작용 역학의 유사성에 기반한 선택적 파rameter 공유를 가능하게 한다.
• 모달과 작업 간에 단일 HighMMT 모델 아키텍처를 설계하여 단모달 및 다중모달 인코더 파arameter를 공유하고, 성능 향상을 위해 모달별 임bedding을 사용한다.
• 15개의 다양한 작업(5개의 연구 분야에 걸쳐)을 통해 다중작업 학습을 수행하고 손실 함수에 가중치를 적용하여 학습 안정성과 일반화 능력을 향상시킨다.
• 원천 작업에서 사전학습하고 새로운 대상 모달과 작업에서 미세조정하는 방식으로 전이 학습을 적용하여 강력한 제로샷 및 소수 샘플 전이 능력을 입증한다.
• 예측 목표의 스케일이 다를 경우(예: MSE 대 비율 정확도)를 처리하기 위해 작업별 손실 가중치를 도입하여 학습 동역학과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 고모달 환경에서 모달 간 유사성과 상호작용을 어떻게 측정하여 효과적인 파arameter 공유를 가능하게 할 수 있는가?
• RQ2 모달 및 상호작용 이질성의 정보 이론적 지표가 다중모달 모델에서 동적 파arameter 공유를 이끌 수 있는가?
• RQ3 다양한 모달과 작업에 대해 훈련된 통합 HighMMT 모델이 성능와 효율성 측면에서 전용 모델보다 뛰어나게 성능을 내는가?
• RQ4 HighMMT는 전이 학습을 통해 새로운, 미리 보지 못한 모달과 작업으로 얼마나 잘 일반화되는가?
• RQ5 이질적인 목표와 부분 관측 가능성을 고려한 다중작업 학습은 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• HighMMT는 전용 최신 모델과 완전히 공유된 다중모달 모델 모두와 비교해 우수한 성능-효율성 균형을 달성한다.
• 모든 추가 모달이 성능 향상에 기여하며, 강력한 확장성과 점진적 학습의 이점을 보여준다.
• 특히 자원이 적은 환경에서 미세조정 과정에서 새로운, 이전에 보지 못한 모달과 작업으로 지식을 성공적으로 전이한다.
• 사전학습 단계에서 더 넓은 범위의 원천 작업을 포함할수록 다중모달 전이 능력이 크게 향상되며, 특히 자원이 적은 대상에서 성능 향상이 두드러진다.
• 적절하게 튜닝된 작업 가중치는 학습 동역학을 향상시키고 과적합을 줄이며, 다중작업 학습의 정규화 효과를 시사한다.
• 모달별 임베딩 없이도 공유된 단모달 인코더가 강력한 성능을 달성함으로써 일반화 가능하고 모달에 영향을 받지 않는 특징를 학습하는 것으로 나타났다.