[論文レビュー] A Survey of Document Grounded Dialogue Systems (DGDS)

Longxuan Ma, Weinan Zhang+2 more|arXiv (Cornell University)|Apr 17, 2020

Topic Modeling参考文献 132被引用数 10

ひとこと要約

本調査は、製品マニュアルやニュース記事などの非構造化文書に基づいて応答を根拠付ける、ドキュメントに基づく対話システム（DGDS）という新しいパラダイムを紹介する。対話アーキテクチャ、データセット、モデル、およびマルチホップ推論や1対多応答生成といった課題をレビューし、知識集約型で人間らしい対話システムの今後の重要な方向性であるDGDSを提唱する。

ABSTRACT

Dialogue system (DS) attracts great attention from industry and academia because of its wide application prospects. Researchers usually divide the DS according to the function. However, many conversations require the DS to switch between different functions. For example, movie discussion can change from chit-chat to QA, the conversational recommendation can transform from chit-chat to recommendation, etc. Therefore, classification according to functions may not be enough to help us appreciate the current development trend. We classify the DS based on background knowledge. Specifically, study the latest DS based on the unstructured document(s). We define Document Grounded Dialogue System (DGDS) as the DS that the dialogues are centering on the given document(s). The DGDS can be used in scenarios such as talking over merchandise against product Manual, commenting on news reports, etc. We believe that extracting unstructured document(s) information is the future trend of the DS because a great amount of human knowledge lies in these document(s). The research of the DGDS not only possesses a broad application prospect but also facilitates AI to better understand human knowledge and natural language. We analyze the classification, architecture, datasets, models, and future development trends of the DGDS, hoping to help researchers in this field.

研究の動機と目的

• 機能的役割（タスク指向型や雑談型など）ではなく、背景知識（特に非構造化文書）に基づいて対話システムを分類する新しいフレームワークを提案すること。
• ドキュメントに基づく応答生成のためのアーキテクチャ設計、データセット、モデルアーキテクチャを含む、DGDSの現状を分析すること。
• マルチホップ推論、1対多応答生成、さまざまなドキュメントタイプ間でのモデル一般化といった主な課題を特定すること。
• DGDSの研究動向と今後の方向性を包括的に概説し、知識集約型対話システムの発展を支援するためのガイドラインを提供すること。

提案手法

• 機能的役割（例：タスク指向型、雑談型）ではなく、背景知識（非構造化文書）に基づいて対話システムを分類する。
• メモリネットワークやグラフニューラルネットワーク（GNN）を統合したエンコーダ・デコーダアーキテクチャをレビューし、ドキュメント証拠に基づく推論を強化する。
• 複数のドキュメントにわたる証拠統合とマルチホップ推論をモデル化するためのグラフ構造（例：HDEグラフ、KGベースのQUEST）の使用を検討する。
• 対話ポリシーのガイドラインと応答品質の向上を目的として、構造化された報酬を用いた強化学習の活用を提言する。
• 1対多応答生成問題に対処するため、複数の参照出力に基づく学習と人間の判断に整合した評価指標の必要性を提示する。
• 新しいドキュメントタイプや構造に対しても知識の保持と転送を可能にする、生涯学習フレームワークの重要性を提唱する。

実験結果

リサーチクエスチョン

• RQ1 対話システムは、機能的タスクではなく背景知識（非構造化文書）に基づいてどのように再分類できるか？
• RQ2 ドキュメントに基づく対話システムに用いられるコアなアーキテクチャ的要素とモデリング技術は何か？
• RQ3 マルチホップ推論と対話におけるドキュメントレベルの理解を支援するデータセットは何か？
• RQ4 参照出力に存在しない多様で正しい応答を生成するには、モデルはどのようにすればよいか（1対多問題）？
• RQ5 生涯学習の文脈において、さまざまなドキュメントタイプや構造にわたるモデル一般化を可能にするメカニズムは何か？

主な発見

• ドキュメントに基づく対話システム（DGDS）は、非構造化文書に基づいて応答を根拠付けることで、より豊かで知識集約型の会話が可能になるため、今後の対話システムの有望な方向性である。
• GCN、GRN、HDEグラフなどのグラフベースのモデルは、複数のドキュメントにわたる証拠の連鎖をモデル化することで、マルチホップ推論を顕著に向上させる。
• 候補、ドキュメント、エンティティをノードとしてGNNで表現することで、複数スケールの証拠統合がより効果的に行えるようになる。
• BLEU や PPL といった現在の評価指標は、1対多応答生成には不十分であり、人間の判断に整合した新しい指標の開発が不可欠である。
• 構造化された報酬を用いた強化学習は、対話ポリシーと長期的な一貫性を明示的にモデル化することで、応答品質を向上させる。
• 新しいドキュメントタイプや構造に対しても知識の保持と転送を可能にする生涯学習フレームワークは、スケーラブルで一般化可能なDGDSを実現する上で不可欠である。