[논문 리뷰] Recent Advances and Trends in Multimodal Deep Learning: A Review

Summaira Jabeen, Xi Li외 3명|arXiv (Cornell University)|2021. 05. 24.

Multimodal Machine Learning Applications참고 문헌 172인용 수 18

한 줄 요약

이 종합 검토는 다중모态 딥 러닝(MMDL) 분야의 최근 발전을 종합적으로 다루며, 이미지, 영상, 텍스트, 음성, 제스처, 얼굴 표정 및 생리적 신호 등 다양한 응용 분야에 대한 세분화된 분류 체계를 제안한다. 아키텍처, 데이터셋, 평가 지표 및 열린 과제를 분석하여 다중모달 표현 학습 및 통합 분야의 향후 연구를 위한 구체적인 방향을 제시한다.

ABSTRACT

Deep Learning has implemented a wide range of applications and has become increasingly popular in recent years. The goal of multimodal deep learning is to create models that can process and link information using various modalities. Despite the extensive development made for unimodal learning, it still cannot cover all the aspects of human learning. Multimodal learning helps to understand and analyze better when various senses are engaged in the processing of information. This paper focuses on multiple types of modalities, i.e., image, video, text, audio, body gestures, facial expressions, and physiological signals. Detailed analysis of past and current baseline approaches and an in-depth study of recent advancements in multimodal deep learning applications has been provided. A fine-grained taxonomy of various multimodal deep learning applications is proposed, elaborating on different applications in more depth. Architectures and datasets used in these applications are also discussed, along with their evaluation metrics. Last, main issues are highlighted separately for each domain along with their possible future research directions.

연구 동기 및 목표

• 이미지, 영상, 텍스트, 음성, 신체 제스처, 얼굴 표정 및 생리적 신호를 포함한 다양한 모달리티에서 다중모달 딥 러닝(MMDL)의 최신 기술을 종합적으로 검토하는 것.
• 단일모달 학습의 한계를 해결하기 위해 다수의 감각 입력을 통합하는 모델이 인간과 유사한 이해를 가능하게 하여 더 풍부한 이해를 가능하게 하는 필요성을 강조하는 것.
• 최근 연구 추세를 더 잘 정리하고 분류하기 위해 MMDL 응용 분야에 대한 새로운 세분화된 분류 체계를 제안하는 것.
• 현재 MMDL 응용 분야에서 사용되는 핵심 아키텍처, 벤치마크 데이터셋 및 평가 지표를 분석하는 것.
• 열린 연구 문제를 특정 식별하고 각 응용 분야에 대한 구체적인 향후 연구 방향을 제안하는 것.

제안 방법

• 모달리티 유형과 응용 작업 기반으로 MMDL 응용 분야를 명확히 분류하는 것.
• 기본 모델과 최근 최신 기술 모델을 검토하고 비교하는 것. 특히 어텐션 메커니즘, 다중모달 트랜스포머 및 후기 융합 아키텍처를 포함.
• MS-COCO, IEMOCAP, MSR-VTT, DAQUAR와 같은 널리 사용되는 데이터셋을 분석하여 그 특성과 특정 작업에의 적합성을 강조하는 것.
• mAP, AUC, 평균 절대 오차(MAE), MOS와 같은 평가 지표를 검토하여 다양한 MMDL 작업에서의 모델 성능를 평가하는 것.
• CNN, RNN, LSTM, BiLSTM 및 MCB, 후기 융합과 같은 다중모달 융합 기법을 포함한 신경망 아키텍처의 체계적 분석을 수행하는 것.
• 2018–2021년의 최근 문헌을 중심으로 종합적인 서베이 기반의 방법론을 활용하여 각 분야의 추세, 과제 및 열린 문제를 통합 분석하는 것.

실험 결과

연구 질문

• RQ1 최근 MMDL 모델들은 이미지, 텍스트, 음성 및 생리적 신호와 같은 다양한 모달리티 간의 정보를 효과적으로 통합하고 표현하는 데 어떻게 기여하는가?
• RQ2 시각 질문 응답, 음성 인식 및 정서 감지와 같은 다중모달 작업에서 성능을 향상시킨 주요 아키텍처 혁신과 융합 전략은 무엇인가?
• RQ3 데이터 이질성, 차원의 극복, 신호 전처리와 관련하여 현재 MMDL 응용 분야에서 가장 큰 제약과 열린 과제는 무엇인가?
• RQ4 기존 데이터셋과 평가 지표는 다양한 응용 분야에서 다중모달 학습의 진전을 어떻게 지원하거나 제약하는가?
• RQ5 강건하고 일반화 가능하며 효율적인 다중모달 딥 러닝 시스템을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 다중모달 학습은 다양한 감각 입력 간의 보완적 정보를 활용함으로써 단일모달 접근보다 성능을 크게 향상시킨다.
• 어텐션 메커니즘과 다중모달 트랜스포머가 주요 아키텍처로 부상하여 효과적인 다중모달 정렬 및 특징 융합을 가능하게 한다.
• 차원의 극복 문제는 여전히 다중모달 융합에서 핵심 과제이며, 특히 다양한 모달리티에서 유도된 고차원 특징을 연결할 경우 더욱 심각한 문제로 작용한다.
• 정서 인식을 위한 생리적 신호 처리 분야는 여전히 초창기 단계에 있으며, 전처리의 복잡성과 대표성 있는 데이터셋의 부족이 주요 장벽이다.
• 엔드 투 엔드(E2E) 학습 모델은 전통적인 파이프라인 기반 방법에 비해 이질적인 데이터 상관관계를 더 잘 포착하는 데 있어 더 큰 유연성을 보인다.
• 향후 연구는 전이 학습을 활용한 다중 플랫폼 이벤트 탐지 및 GAN 또는 RNN 확장 기반의 개선된 특징 학습을 우선시하여 소셜 미디어 데이터에서의 정확도를 향상시켜야 한다.