[논문 리뷰] Foundations and Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions

Paul Pu Liang, Amir Zadeh외 1명|arXiv (Cornell University)|2022. 09. 07.

Speech and dialogue systems인용 수 36

한 줄 요약

한 포괄적 리뷰로, 다중모달 학습의 기본 원리를 정의하고 핵심 도전 과제 여섯 가지( representation, alignment, reasoning, generation, transference, quantification )와 관련 하위 질문 및 접근 방식을 제시한다.

ABSTRACT

Multimodal machine learning is a vibrant multi-disciplinary research field that aims to design computer agents with intelligent capabilities such as understanding, reasoning, and learning through integrating multiple communicative modalities, including linguistic, acoustic, visual, tactile, and physiological messages. With the recent interest in video understanding, embodied autonomous agents, text-to-image generation, and multisensor fusion in application domains such as healthcare and robotics, multimodal machine learning has brought unique computational and theoretical challenges to the machine learning community given the heterogeneity of data sources and the interconnections often found between modalities. However, the breadth of progress in multimodal research has made it difficult to identify the common themes and open questions in the field. By synthesizing a broad range of application domains and theoretical frameworks from both historical and recent perspectives, this paper is designed to provide an overview of the computational and theoretical foundations of multimodal machine learning. We start by defining three key principles of modality heterogeneity, connections, and interactions that have driven subsequent innovations, and propose a taxonomy of six core technical challenges: representation, alignment, reasoning, generation, transference, and quantification covering historical and recent trends. Recent technical achievements will be presented through the lens of this taxonomy, allowing researchers to understand the similarities and differences across new approaches. We end by motivating several open problems for future research as identified by our taxonomy.

연구 동기 및 목표

• 다중모달 학습의 기본 원리(이질성, 연결성, 상호작용) 정의.
• 다중모달 ML의 여섯 가지 핵심 기술적 도전 과제의 분류 제안.
• 표현, 정렬, 추론, 생성, 전이, 정량화에 걸친 역사적 및 최근 접근 방식의 종합.
• 다중모달 학습에서의 미해결 문제와 향후 연구 방향 강조.

제안 방법

• 서브카테고리와 대표적 접근법을 가진 여섯 가지 핵심 도전 과제의 분류 제안.
• 표현, 정렬, 추론, 생성, 전이, 정량화 아래 기존 방법의 검토 및 분류.
• 모달리티 이질성, 연결성, 상호작용의 원리와 그것이 각 도전 과제를 어떻게 동기 부여하는지 논의.
• 융합, 조정, 분리 등의 교차 모달 표현 및 상호작용 고찰.
• taxonomy에서 확인된 미해결 문제 및 향후 방향 탐구.

실험 결과

연구 질문

• RQ1 다중모달 학습을 추진하는 핵심 원리와 그것이 방법론적 선택에 어떤 영향을 미치는가?
• RQ2 다중모달 ML의 여섯 가지 근본적 기술 도전 과제는 무엇이며 어떻게 효과적으로 분류하고 해결할 수 있는가?
• RQ3 표현, 정렬, 추론, 생성, 전이, 정량화의 각 하위 도전에 대한 주요 접근 방식과 대표적 예시는 무엇인가?
• RQ4 이 분류 체계에 따라 다중모달 ML에서 남아 있는 열린 문제는 무엇인가?
• RQ5 이질성, 연결성, 상호작용이 다중모달 시스템의 학습 및 평가에 어떤 영향을 미치는가?

주요 결과

• 원칙에 기반한 6대 핵심 도전 과제가 식별된다: representation, alignment, reasoning, generation, transference, and quantification.
• 모달리티는 이질적이고, 연결되며, 상호작용적이어서 각 핵심 도전의 하위 영역을 구체화시킨다.
• 하위 도전은 representation에서의 fusion, coordination, fission; 정렬과 맥락화의 이산적 및 연속적 측정; 추론의 구조 모델링 및 외부 지식; 생성의 요약, 번역, 창작; 전이의 교차모달 전이, 공동 학습, 모델 유도; 정량화의 이질성, 상호연결성, 학습을 포함한다.
• 이 논문은 역사적 및 최근 연구를 종합하여 일반적 주제와 개방 질문을 응용 분야 및 이론 프레임워크 간에 매핑한다.
• 기초 원리를 구체적 방법론적 질문과 미래 연구 방향으로 연결한다.