[論文レビュー] Multimodal Conversational AI: A Survey of Datasets and Approaches

Anirudh Sundar, Larry Heck|arXiv (Cornell University)|May 13, 2022

Speech and dialogue systems被引用数 4

ひとこと要約

本調査では、5つのコア分野（表現、統合、翻訳、アライメント、共同学習）を特定することで、複数のモダリティ（例：音声、視覚、テキスト）を用いて理解し、応答を生成できるシステムを可能にする、統一されたフレームワークを提案する。最先端のデータセットと手法を統合し、複数モダリティの共同学習が、複雑な複数モダリティ対話システムにおける人間水準のパフォーマンスに至る有望な道筋であると強調している。

ABSTRACT

As humans, we experience the world with all our senses or modalities (sound, sight, touch, smell, and taste). We use these modalities, particularly sight and touch, to convey and interpret specific meanings. Multimodal expressions are central to conversations; a rich set of modalities amplify and often compensate for each other. A multimodal conversational AI system answers questions, fulfills tasks, and emulates human conversations by understanding and expressing itself via multiple modalities. This paper motivates, defines, and mathematically formulates the multimodal conversational research objective. We provide a taxonomy of research required to solve the objective: multimodal representation, fusion, alignment, translation, and co-learning. We survey state-of-the-art datasets and approaches for each research area and highlight their limiting assumptions. Finally, we identify multimodal co-learning as a promising direction for multimodal conversational AI research.

研究の動機と目的

• 複数モダリティ対話AIの研究目的を、複数の感覚モダリティを統合する一貫したタスクとして定義・形式化すること。
• 複数モダリティ対話における主な研究課題を特定・分類すること、例えば曖昧さの解消、応答生成、共参照解消、対話状態追跡など。
• 研究分野の包括的分類を提供すること：表現、統合、翻訳、アライメント、共同学習。各分野は、複数モダリティ理解と生成の異なる側面に焦点を当てる。
• 各研究分野における既存のデータセットと最先端の手法を調査し、現在のアプローチにおける制限事項と仮定を強調すること。
• 複数モダリティの共同学習を、人間水準のパフォーマンスに至るための重要な未開拓分野として位置づけること。

提案手法

• 音声、視覚、テキストなどの複数モダリティの共同表現を最適化問題として数学的に定式化することで、複数モダリティ対話AIを定式化する。
• 5段階の分類法を導入：(1) 複数モダリティ表現、(2) 統合、(3) 翻訳、(4) アライメント、(5) 共同学習。研究活動を体系化する。
• Visual7W、Diverse Visual Dialog など、視覚的および言語的入力を根拠にした複数モダリティ対話タスクを支援するデータセットをレビューする。
• マルチモーダルトランスフォーマー、対照的学習フレームワーク、長文脈推論に適した生成モデル（例：DIALOGPT や Big Bird）などの最先端モデルを分析する。
• 推論および応答生成中にモダリティを接続するために、クロスモダリティアテンションと特徴アライメントメカニズムの使用を強調する。
• 共同学習を提案する。リソース豊富なモダリティ（例：視覚）が、共有の監視情報と共同最適化を通じて、リソースが乏しいモダリティ（例：音声）の学習を支援する。

実験結果

リサーチクエスチョン

• RQ1 複数モダリティ対話AIシステムは、どのようにして音声、視覚、テキストなどの複数の感覚入力を効果的に統合・推論し、一貫性があり文脈的に適切な応答を生成できるか？
• RQ2 複数モダリティ対話における主な技術的課題（曖昧さの解消、共参照解消、対話状態追跡など）は何か。これらは単一モダリティ設定とはどのように異なるか？
• RQ3 既存のデータセットは、複数モダリティ対話AIの進展をどのように支援または制限しているのか。また、それらの重要な仮定やバイアスは何か？
• RQ4 モダリティ間の翻訳とアライメントは、クロスモダリティ理解と応答生成をどのように向上させることができるか？
• RQ5 複数モダリティの共同学習は、モダリティ間での一般化性能向上とデータ依存性の低減にどのように寄与できるか？

主な発見

• 複数モダリティの共同学習は、リソース豊富なモダリティがリソースが乏しいモダリティの学習効率とパフォーマンスを向上させることを可能にする、極めて有望な研究分野であると特定された。
• Visual7W や Diverse Visual Dialog といった既存のデータセットは、根拠のある視覚的質問応答に基礎を置いているが、しばしば対話文脈や長時間スパンの推論において深さに欠けている。
• DIALOGPT や Big Bird などの最先端モデルは、オープンドメインの応答生成において優れたパフォーマンスを示しているが、複数モダリティの根拠付けと事実の整合性には課題を抱えている。
• アテンション機構や対照的学習を用いた統合および表現学習手法は、クロスモダリティのアライメントと推論の正確性を顕著に向上させた。
• 共参照解消と対話状態追跡は依然として困難であり、特に「その車」のように視覚的対象を指すような、モダリティをまたがる参照が存在する場合、複数モダリティにわたる統合モデリングが必要となる。
• 現在のアプローチの制限には、編集済みデータへの依存、分布外入力に対する頑健性の欠如、およびバックチャンネリングや感情的側面といった現実の会話ダイナミクスの不十分な処理が含まれる。