[논문 리뷰] Multimodal Conversational AI: A Survey of Datasets and Approaches

Anirudh Sundar, Larry Heck|arXiv (Cornell University)|2022. 05. 13.

Speech and dialogue systems인용 수 4

한 줄 요약

이 종합 검토는 다중모态 대화형 AI를 위한 통합 프레임워크를 제안하며, 이해 및 응답 생성을 위해 다중 모달리티(예: 음성, 시각, 텍스트)를 사용할 수 있도록 하는 다섯 가지 핵심 연구 분야—표현, 융합, 번역, 정렬, 공학습—를 특정한다. 최신 데이터셋과 방법을 종합하여, 복잡한 다중모달 대화 시스템에서 인간 수준의 성능에 이를 수 있는 다중모달 공학습이 유망한 길임을 강조한다.

ABSTRACT

As humans, we experience the world with all our senses or modalities (sound, sight, touch, smell, and taste). We use these modalities, particularly sight and touch, to convey and interpret specific meanings. Multimodal expressions are central to conversations; a rich set of modalities amplify and often compensate for each other. A multimodal conversational AI system answers questions, fulfills tasks, and emulates human conversations by understanding and expressing itself via multiple modalities. This paper motivates, defines, and mathematically formulates the multimodal conversational research objective. We provide a taxonomy of research required to solve the objective: multimodal representation, fusion, alignment, translation, and co-learning. We survey state-of-the-art datasets and approaches for each research area and highlight their limiting assumptions. Finally, we identify multimodal co-learning as a promising direction for multimodal conversational AI research.

연구 동기 및 목표

• 다중모달 대화형 AI의 연구 목표를 다중 감각 모달리티를 통합하는 통합된 작업으로 정의하고 형식화하기.
• 다중모달 대화에서의 핵심 연구 과제, 예를 들어 모호성 해소, 응답 생성, 공명어 해결, 대화 상태 추적 등을 특정하고 분류하기.
• 연구 영역의 포괄적인 분류 체계를 제공: 표현, 융합, 번역, 정렬, 공학습. 각 영역은 다중모달 이해 및 생성의 서로 다른 측면을 다룬다.
• 각 연구 영역에서 기존 데이터셋과 최신 기법을 조사하여 현재 접근 방식의 한계와 가정을 부각하기.
• 다중모달 공학습을 인간 수준의 성능에 도달하기 위한 핵심적이고 아직 탐색되지 않은 연구 방향으로 위치시키기.

제안 방법

• 다양한 모달리티(예: 음성, 시각, 텍스트)의 공동 표현에 대한 최적화 문제로 다중모달 대화형 AI를 수학적으로 공식화하기.
• 다섯 단계로 구성된 분류 체계 도입: (1) 다중모달 표현, (2) 융합, (3) 번역, (4) 정렬, (5) 공학습. 연구 활동을 체계화하기 위해 사용.
• Visual7W, Diverse Visual Dialog 등 다중모달 대화 작업을 지원하는 기반 시각적 및 언어적 입력을 갖춘 데이터셋을 검토.
• 다중모달 트랜스포머, 대비 학습 프레임워크, 장기적 추론을 위한 생성 모델인 DIALOGPT 및 Big Bird와 같은 최신 기법 분석.
• 이해 및 응답 생성 과정에서 모달리티를 연결하기 위해 교차 모달 주의력과 특징 정렬 메커니즘의 사용 강조.
• 공학습을 자원이 풍부한 모달리티(예: 시각)가 자원이 부족한 모달리티(예: 음성)의 학습을 공유된 감독과 공동 최적화를 통해 지원하는 방법으로 제안.

실험 결과

연구 질문

• RQ1 다중모달 대화형 AI 시스템은 어떻게 효과적으로 여러 감각 입력(예: 음성, 시각, 텍스트)을 통합하고 추론하여 일관적이고 맥락에 적절한 응답을 생성할 수 있는가?
• RQ2 다중모달 대화에서의 핵심 기술적 과제, 예를 들어 모호성 해소, 공명어 해결, 대화 상태 추적은 무엇이며, 단모달 설정과는 어떻게 다를까?
• RQ3 기존 데이터셋은 다중모달 대화형 AI의 발전을 어떻게 지원하거나 제한하는가? 그리고 그들의 핵심 가정과 편향은 무엇인가?
• RQ4 모달리티 간의 번역과 정렬은 교차 모달 이해 및 응답 생성을 어떻게 향상시킬 수 있는가?
• RQ5 다중모달 공학습은 모델 일반화 능력 향상과 모달리티 간의 데이터 의존도 감소에 어떤 역할을 할 수 있는가?

주요 결과

• 다중모달 공학습은 자원이 풍부한 모달리티가 자원이 부족한 모달리티의 학습 효율성과 성능 향상에 기여할 수 있어 매우 유망한 연구 방향으로 확인된다.
• Visual7W 및 Diverse Visual Dialog와 같은 기존 데이터셋은 기반 시각적 질의 응답에 기초적인 지원을 제공하지만, 대화 맥락의 깊이와 장기적 추론 능력 측면에서 부족함을 보인다.
• DIALOGPT 및 Big Bird와 같은 최신 모델은 개방형 응답 생성에서 뛰어난 성능을 보이지만, 다중모달 기반 및 사실 일관성 측면에선 어려움을 겪는다.
• 융합 및 표현 학습 방법, 특히 주의력 기반 및 대비 학습 기반 방법은 교차 모달 정렬 및 추론 정확도를 크게 향상시킨다.
• 공명어 해결 및 대화 상태 추적은 특히 참조가 모달리티를 넘어서는 경우(예: '그 차'가 시각적 객체를 가리키는 경우)에 매우 어려운 과제이며, 모달리티 간의 공동 모델링이 필요하다.
• 현재 접근 방식의 한계는 캘리브레이션된 데이터에 대한 의존성, 분포 외 입력에 대한 낮은 내성성, 실제 대화 상황에서의 역동성(예: 피드백, 감정적 신호)에 대한 충분한 처리 부족 등이다.