[論文レビュー] Dialog System Technology Challenge 7

Koichiro Yoshino, Chiori Hori+15 more|arXiv (Cornell University)|Jan 11, 2019

Multimodal Machine Learning Applications参考文献 28被引用数 27

ひとこと要約

本論文は、第7回対話システム技術チャレンジ（DSTC7）を提示し、文選択、知識に基づく文生成、音声・視覚的情報に配慮した対話の3つの新規トラックを導入している。人間対人間の対話データセット上でエンドツーエンドモデルを評価し、階層的アテンションとマルチモーダル統合を用いて最先端の結果を達成した。最良のシステムは、ベースライン比で人間による応答品質を22%向上させた。

ABSTRACT

This paper introduces the Seventh Dialog System Technology Challenges (DSTC), which use shared datasets to explore the problem of building dialog systems. Recently, end-to-end dialog modeling approaches have been applied to various dialog tasks. The seventh DSTC (DSTC7) focuses on developing technologies related to end-to-end dialog systems for (1) sentence selection, (2) sentence generation and (3) audio visual scene aware dialog. This paper summarizes the overall setup and results of DSTC7, including detailed descriptions of the different tracks and provided datasets. We also describe overall trends in the submitted systems and the key results. Each track introduced new datasets and participants achieved impressive results using state-of-the-art end-to-end technologies.

研究の動機と目的

• 従来のタスク指向型対話にとどまらない、現実的で複雑なタスクを導入することで、エンドツーエンド対話システムの発展を図ること。
• スケーラブルな候補セットと並記法のバリエーションを備えた人間対人間の対話文脈における応答選択を評価すること。
• 外部知識に基づいた応答生成モデルを開発し、多様で文脈的に適切な応答を生成すること。
• 視覚と言語を統合して、動的な動画コンテンツについて文脈的に正確な応答を生成できるエンドツーエンド音声・視覚対話システムを構築すること。
• 将来的な対話システム研究のための、複数のモダリティとタスクをカバーする大規模で公開可能なベンチマークを確立すること。

提案手法

• 100～120,000件の応答候補（並記法やヌル選択を含む）を用いた複数のサブタスクを設定し、文生成を文選択タスクとして定式化した。
• 対話履歴、質問、視覚的特徴にLSTMベースのエンコーダーを適用し、テキストと動画入力を統合するための階層的アテンション機構を用いた。
• 視覚的および言語的特徴を共同で符号化するためのマルチモーダルアテンション機構（例：Libovickỳ & Helcl, 2017; Lu et al., 2016）を応答生成に適用した。
• テキストおよび視覚的特徴の両方を対象に、GRU、BLSTM、LSTMアーキテクチャを用いてクロスエントロピー損失でエンドツーエンドモデルを学習した。
• 視覚的質問応答（VQA）および動画記述技術を統合したマルチモーダル対話フレームワークを構築した。
• 自然さ、情報量、正しさの5段階スケールで人間によるアノテーションと、自動指標（BLEU、METEOR、ROUGE-L、CIDEr）を用いて出力を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模な候補セットに直面したエンドツーエンドモデルは、オープンドメインの人間対人間対話において正しい応答をどれほどうまくランク付けできるか？
• RQ2 知識に基づく応答生成モデルは、雑談を超えて多様で文脈的に適切で情報豊富な応答を生成できるか？
• RQ3 マルチモーダルモデルは、動的な動画コンテンツについて正確で状況に配慮した対話応答を生成するために、視覚的および言語的信号をどれほど効果的に統合できるか？
• RQ4 階層的およびコアテンション機構は、動画対話システムにおけるマルチモーダル理解と応答生成をどれほど向上させるか？
• RQ5 複雑なマルチモーダルタスクにおいて、自動指標と人間の判断の間にはどの程度のギャップがあるか？

主な発見

• 音声・視覚的情報に配慮した対話（AVSD）トラックで最良のシステムは、人間による評価で3.491を達成し、ベースラインシステムの2.848から22%の向上を示した。
• 最良のシステムはCIDErスコア1.094を達成し、ベースラインの0.746を大幅に上回り、人間の基準応答との整合性が高かった。
• 最良のシステムは階層的およびコアテンション機構を用いてテキストと視覚的特徴を統合し、単純なRNNベースのモデルを上回った。
• 人間による評価では、BLEU-4やMETEORといった自動指標は人間の判断と中程度の相関を示したが、品質を予測するには単独では不十分であった。
• 文選択トラックでは、120,000件までの巨大な候補セットにおいても、モデルが正解の応答を効果的にランク付けできることを示した。サブタスク全体で高い性能を発揮した。
• 文生成トラックでは、外部知識を統合した知識に基づくモデルが、ベースラインの雑談モデルに比べてより情報量が多く文脈的に適切な応答を生成できることを明らかにした。