[論文レビュー] Multimodal Dialogs (MMD): A large-scale dataset for studying multimodal domain-aware conversations.

Amrita Saha, Mitesh M. Khapra+1 more|arXiv (Cornell University)|Apr 1, 2017

Multimodal Machine Learning Applications参考文献 7被引用数 5

ひとこと要約

本論文では、ファッション小売分野におけるショッパーと販売担当者間の150Kセッションにわたるマルチモーダルでドメインに配慮した対話データセット「MMD」を紹介する。本研究では、マルチモーダル会話研究のための5つの新しいサブタスクを提案し、エンコード・アテンション・デコードフレームワークを用いたニューラルベースラインを確立するとともに、9つの主要な対話状態における個別評価を可能にし、複雑な会話的課題に焦点を当てた研究を促進する。

ABSTRACT

While multimodal conversation agents are gaining importance in several domains such as retail, travel etc., deep learning research in this area has been limited primarily due to the lack of availability of large-scale, open chatlogs. To overcome this bottleneck, in this paper we introduce the task of multimodal, domain-aware conversations, and propose the MMD benchmark dataset. This dataset was gathered by working in close coordination with large number of domain experts in the retail domain. These experts suggested various conversations flows and dialog states which are typically seen in multimodal conversations in the fashion domain. Keeping these flows and states in mind, we created a dataset consisting of over 150K conversation sessions between shoppers and sales agents, with the help of in-house annotators using a semi-automated manually intense iterative process. With this dataset, we propose 5 new sub-tasks for multimodal conversations along with their evaluation methodology. We also propose two multimodal neural models in the encode-attend-decode paradigm and demonstrate their performance on two of the sub-tasks, namely text response generation and best image response selection. These experiments serve to establish baseline performance and open new research directions for each of these sub-tasks. Further, for each of the sub-tasks, we present a `per-state evaluation' of 9 most significant dialog states, which would enable more focused research into understanding the challenges and complexities involved in each of these states.

研究の動機と目的

• 実世界のドメインにおけるマルチモーダル会話エージェントの訓練および評価を支援する大規模でオープンソースのマルチモーダルチャットログが不足しているという問題に対処する。
• ファッション小売の対話で観察される現実的で複雑な対話フローと状態を反映するベンチマークデータセットを構築する。
• テキスト応答生成や画像応答選択を含む、テキストと画像の両方を統合的に処理する新しいサブタスク5つを提案し、明確な評価プロトコルを定義する。
• エンコード・アテンション・デコードパラダイムに基づくニューラルモデルベースラインを確立し、性能比較および今後の手法開発を可能にする。
• 9つの重要な対話状態にわたる状態別評価を実装し、マルチモーダル理解と生成におけるタスク固有の課題を特定するための詳細な分析を可能にする。

提案手法

• 小売およびファッション分野のドメインエキスパートと協働し、現実的で妥当な対話フローと対話状態を定義した。
• 社内アノテーターを用いた、部分的に自動化され、反復的で手作業に依存するプロセスを通じて、15万件を超える対話セッションを収集した。
• テキスト応答生成、最良の画像応答選択、およびマルチモーダル理解と生成に焦点を当てた3つの追加タスクを含む、5つの新しいサブタスクを有するベンチマークを設計した。
• テキストと画像入力を共同で処理可能な、エンコード・アテンション・デコードアーキテクチャに基づく2つのマルチモーダルニューラルモデルを提案した。
• 9つの主要な対話状態にわたるモデル性能を評価する状態別評価プロトコルを実装し、状態固有の性能ギャップを特定した。
• 各サブタスクのための評価指標を定義し、応答生成には標準指標、画像応答選択にはリtrievalベースの指標を適用した。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、ファッション小売対話に特化した大規模で現実的かつマルチモーダルな対話データセットを構築できるか？
• RQ2 マルチモーダルでドメインに配慮した対話から浮き彫りになる主要なサブタスクは何か、そしてそれらを形式的に定義し、評価するにはどうすればよいか？
• RQ3 実世界の小売環境において、マルチモーダルニューラルモデルはテキスト応答生成および画像応答選択タスクでどの程度の性能を示すか？
• RQ4 異なる対話状態間で性能にどのような差が生じるか、またどの状態がマルチモーダルエージェントにとって最大の課題をもたらすか？
• RQ5 状態別評価は、複雑な会話シナリオにおけるマルチモーダルモデルの限界と強みを明らかにする有意義な知見を提供できるか？

主な発見

• MMDデータセットは、ショッパーと販売担当者間の15万件を超える対話セッションを含み、ファッション分野における多様で現実的なマルチモーダル対話の様子を捉えている。
• テキスト応答生成や最良の画像応答選択を含む提案されたサブタスクは、マルチモーダル対話システムの評価に構造的フレームワークを提供する。
• エンコード・アテンション・デコードパラダイムに基づくニューラルベースラインは、2つのコアサブタスクで測定可能な性能を達成しており、今後のモデル開発の基盤を築いた。
• 状態別評価により、9つの主要な対話状態にわたる性能の顕著なばらつきが明らかになり、マルチモーダル理解における状態固有の課題が浮き彫りになった。
• データセットと評価プロトコルのおかげで、文脈に配慮した画像選択や、複数ターンにわたる応答の一貫性といった、対話状態固有のボトルネックに関する焦点を当てた研究が可能になった。
• 熟練エキスパートが検証した大規模なデータセットに加え、詳細な対話状態アノテーションが整備されたことで、マルチモーダルでドメインに配慮した会話システム分野における新たな研究方向性が開かれた。