[논문 리뷰] Multimodality Representation Learning: A Survey on Evolution, Pretraining and Its Applications

Muhammad Arslan Manzoor, Sarah Albarri외 4명|arXiv (Cornell University)|2023. 02. 01.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 종합 검토는 시각, 언어, 청각을 위한 다중모态 표현 학습의 발전을 포괄적으로 개괄하며, 딥 러닝 아키텍처의 진화, 사전학습 전략, 통합 모델을 다룹니다. 트랜스포머 기반 아키텍처, 사전학습 목표, 벤치마크 데이터셋 및 향후 방향성을 강조하며, 다중모달 정렬, 지식 통합, 효율성 향상이 다중모달 작업에서 중요하다고 언급합니다.

ABSTRACT

Multimodality Representation Learning, as a technique of learning to embed information from different modalities and their correlations, has achieved remarkable success on a variety of applications, such as Visual Question Answering (VQA), Natural Language for Visual Reasoning (NLVR), and Vision Language Retrieval (VLR). Among these applications, cross-modal interaction and complementary information from different modalities are crucial for advanced models to perform any multimodal task, e.g., understand, recognize, retrieve, or generate optimally. Researchers have proposed diverse methods to address these tasks. The different variants of transformer-based architectures performed extraordinarily on multiple modalities. This survey presents the comprehensive literature on the evolution and enhancement of deep learning multimodal architectures to deal with textual, visual and audio features for diverse cross-modal and modern multimodal tasks. This study summarizes the (i) recent task-specific deep learning methodologies, (ii) the pretraining types and multimodal pretraining objectives, (iii) from state-of-the-art pretrained multimodal approaches to unifying architectures, and (iv) multimodal task categories and possible future improvements that can be devised for better multimodal learning. Moreover, we prepare a dataset section for new researchers that covers most of the benchmarks for pretraining and finetuning. Finally, major challenges, gaps, and potential research topics are explored. A constantly-updated paperlist related to our survey is maintained at https://github.com/marslanm/multimodality-representation-learning.

연구 동기 및 목표

• 시각, 언어, 청각 분야에서 작업별 및 트랜스포머 기반 다중모달 아키텍처의 진화를 체계적으로 검토하기 위해.
• 다음 다중모달 작업에서 일반화 능력을 향상시키는 데 기여하는 사전학습 유형, 목표 및 그 역할을 분석하기 위해.
• 다양한 작업 간의 피지컬 테이닝 오버헤드와 계산 복잡도를 줄이는 통합 아키텍처를 제시하기 위해.
• 새로운 연구자들이 지원할 수 있도록 사전학습 및 피지컬 테이닝을 위한 벤치마크를 포함한 종합적인 데이터셋 섹션을 편집하기 위해.
• 다중언어 및 청각 통합을 포함한 다중모달 표현 학습 분야의 핵심 과제, 열린 격차 및 향후 연구 방향을 식별하기 위해.

제안 방법

• 트랜스포머 기반 모델과 그 아키텍처의 진화에 중점을 두고 최근의 다중모달 표현 학습 문헌을 종합적으로 검토하기 위해.
• 예: 마스크된 언어 모델링, 대비 학습 등 사전학습 유형을 분류하고, 다중모달 정렬을 위한 그 목표를 분석하기 위해.
• 최신 사전학습 모델(예: ViLBERT, CLIP, Flamingo)과 통합 아키텍처(예: 통합 시각-언어-청각 인코더)를 비교하기 위해.
• 모odal 조합 및 작업 유형에 기반한 복잡한 다중모달 아키텍처와 응용 프로그램의 분류 체계를 제안하기 위해.
• 정렬 및 효율성을 향상시키기 위한 메서드적 개선 사항을 제안하기 위해, 예를 들어 프롬프트 튜닝, 지식 증류, 임베딩 수준의 마스킹을 포함하기 위해.
• 현재 모델의 범위를 넓히기 위해 청각 스트림 통합과 다중언어 사전학습의 필요성을 강조하기 위해.

Figure 1. The pie chart on the left represents the percentage of papers for each section included in this survey. The pie chart in the center represents the percentage of papers for each multimodal application. The rightmost figure expresses the growth of deep learning-based multimodal papers in the

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처는 시각, 언어, 청각 분야에서 다중모달 표현 학습을 통합하기 위해 어떻게 진화했는가?
• RQ2 다중모달 정렬과 일반화를 향상시키는 데 가장 효과적인 사전학습 목표와 전략은 무엇인가?
• RQ3 통합 아키텍처는 얼마나 많은 정도로 작업별 특화된 피지컬 테이닝의 필요성을 제거하고 계산 비용을 줄일 수 있는가?
• RQ4 사전학습 및 추론 과정에서 여러 모달을 정렬하는 데 있어 핵심 과제는 무엇인가? 특히 청각 모달의 경우.
• RQ5 외부 지식, 프루닝, 양자화 및 조기 평가 전략은 다중모달 모델의 효율성과 성능을 어떻게 향상시킬 수 있는가?

주요 결과

• 트랜스포머 기반 아키텍처는 공통된 표현 공간에서 시각, 언어, 청각을 공동 처리할 수 있게 해, 다중모달 표현 학습을 크게 발전시켰다.
• 대비 및 마스크된 목표를 통한 사전학습은 다중모달 정렬을 향상시키며, CLIP 및 ViLBERT와 같은 모델은 VLR 및 VQA 벤치마크에서 최고 성능을 기록했다.
• 지식 증류는 ViT-BERT의 성능을 SST-2에서 10%, IN-1K에서 5% 향상시켜 표현 품질 향상에 있어 그 가치를 입증했다.
• 임베딩 수준의 마스킹은 특히 미세한 수준의 다중모달 이해에서 표현 간 정렬에 가장 효과적인 전략으로 확인되었다.
• 청각 스트림 통합은 현재의 종합 검토와 사전학습 프레임워크에서 여전히 미비하게 다뤄지고 있으나, AVSR 및 감성 분석 등의 작업에서 의미 있는 정보를 제공함에도 불구하고.
• 향후 연구는 다중언어 다중모달 데이터셋과 프롬프트 튜닝 및 모델 압축 기법을 통해 계산 비용을 줄이는 통합 아키텍처를 우선순위로 삼아야 한다.

Figure 2. The figure exhibit the difference in the pipeline of Pretraining-Finetuning architecture and the task-specific architecture. Different modes of input in Pretraining show that multimodal data is passed to the model. The Preprocessing module formats each modal input according to the model. T