[논문 리뷰] Multimodal Deep Learning

Cem Akkus, Luyang Chu외 15명|arXiv (Cornell University)|2023. 01. 12.

Speech and dialogue systems인용 수 9

한 줄 요약

한눈에 보는 설문형 소책자로서 NLP와 CV의 최첨단, 다중모달 아키텍처, 데이터셋, 벤치마크 및 텍스트-이미지, 이미지-텍스트 시스템 같은 교차 모달 모델, 융합 및 다용도 모델에 대한 논의가 담겨 있습니다.

ABSTRACT

This book is the result of a seminar in which we reviewed multimodal approaches and attempted to create a solid overview of the field, starting with the current state-of-the-art approaches in the two subfields of Deep Learning individually. Further, modeling frameworks are discussed where one modality is transformed into the other, as well as models in which one modality is utilized to enhance representation learning for the other. To conclude the second part, architectures with a focus on handling both modalities simultaneously are introduced. Finally, we also cover other modalities as well as general-purpose multi-modal models, which are able to handle different tasks on different modalities within one unified architecture. One interesting application (Generative Art) eventually caps off this booklet.

연구 동기 및 목표

• NLP와 CV에서의 최첨단 다중모달 딥러닝에 대한 탄탄한 개요를 제공합니다.
• 다중모달 아키텍처에서 모달리티가 어떻게 도입되고 표현되며 융합되는지 요약합니다.
• NLP, CV 및 다중모달 작업을 위한 데이터셋, 벤치마크 및 리소스를 조사합니다.
• 텍스트와 이미지를 변환하는 아키텍처와 다중 모달을 지원하는 모델을 제시합니다.
• 다중모달 학습 내의 추가 모달, 구조화 데이터 및 생성 예술과 같은 더 넓은 주제를 강조합니다.

제안 방법

• 모달리티, 아키텍처 및 향후 주제에 관한 장으로 구성된 구조화된 소책자 형식으로 내용을 정리합니다.
• 임베딩, 인코더-디코더, 어텐션, 트랜스포머 등 기초 NLP 및 CV 기술을 검토합니다.
• Img2Text 및 Text2Image 아키텍처를 설명합니다 (예: MS COCO, M2 Transformer, diffusion models).
• 텍스트와 이미지를 정렬하거나 통합하는 모델(예: CLIP, ALIGN, Florence) 및 비전-언어 트랜스포머(VilBert, Flamingo)을 논의합니다.
• 여러 모달과 작업을 다루기 위한 융합 전략 및 다목적 모델을 탐구합니다.
• 추가 모달과 생성 예술 응용으로 다중모달 학습 확장을 다룹니다.

실험 결과

연구 질문

• RQ1 다중모달 학습과 관련된 NLP 및 CV의 핵심 최첨단 기술은 무엇인가?
• RQ2 텍스트와 이미지 모달리티를 통합된 아키텍처에서 어떻게 효과적으로 표현하고 융합할 수 있는가?
• RQ3 다중모달 모델을 다양한 작업에서 비교하는 벤치마크와 데이터셋은 무엇인가?
• RQ4 주요 교차 모달 모델은 무엇이며 표준 VL 벤치마크에서의 성능은 어떠한가?
• RQ5 다중모달 모델을 추가 모달 및 다목적 작업으로 확장하려면 어떻게 해야 하는가?

주요 결과

• Word embeddings, encoder–decoder, attention, and Transformers are foundational to modern NLP and multimodal systems.
• Self-supervised and contrastive learning (e.g., SimCLR, BYOL, SwAV) drive superior visual representations without heavy supervision.
• Text-to-image and image-to-text systems have progressed from GANs/VAEs to diffusion models and transformer-based architectures.
• Cross-modal models (e.g., CLIP, Flamingo, VilBert) enable robust text–image alignment and few-shot/zero-shot capabilities.
• Benchmarks and large-scale multimodal datasets (e.g., COCO, VG, CC, Flickr30k, LAION-400M/5B) are central to evaluating progress across VL-PTMs.
• Multipurpose and generative-art applications illustrate the broad potential of multimodal learning beyond traditional tasks.