[論文レビュー] Neural Assistant: Joint Action Prediction, Response Generation, and Latent Knowledge Reasoning

Arvind Neelakantan, Semih Yavuz+6 more|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 24被引用数 13

ひとこと要約

Neural Assistant は、信念状態の明示的アノテーションを必要とせず、タスク指向対話における行動予測と応答生成を統合的に予測するニューラルネットワークを提案する。応答生成と行動予測からの弱い監督を活用することで、外部知識ベースを効果的に活用し、トランスフォーマーと比較して高い事実的正確性を達成し、アノテーション済み信念状態が与えられた場合にもベースラインを上回る性能を発揮する。

ABSTRACT

Task-oriented dialog presents a difficult challenge encompassing multiple problems including multi-turn language understanding and generation, knowledge retrieval and reasoning, and action prediction. Modern dialog systems typically begin by converting conversation history to a symbolic object referred to as belief state by using supervised learning. The belief state is then used to reason on an external knowledge source whose result along with the conversation history is used in action prediction and response generation tasks independently. Such a pipeline of individually optimized components not only makes the development process cumbersome but also makes it non-trivial to leverage session-level user reinforcement signals. In this paper, we develop Neural Assistant: a single neural network model that takes conversation history and an external knowledge source as input and jointly produces both text response and action to be taken by the system as output. The model learns to reason on the provided knowledge source with weak supervision signal coming from the text generation and the action prediction tasks, hence removing the need for belief state annotations. In the MultiWOZ dataset, we study the effect of distant supervision, and the size of knowledge base on model performance. We find that the Neural Assistant without belief states is able to incorporate external knowledge information achieving higher factual accuracy scores compared to Transformer. In settings comparable to reported baseline systems, Neural Assistant when provided with oracle belief state significantly improves language generation performance.

研究の動機と目的

• パイプライン型タスク指向対話システムの限界、すなわち個別に最適化されたコンponentsと信念状態のアノテーションに依存する点を是正すること。
• 応答生成、行動予測、知識推論を統合的にモデリングすることで、対話システムにおけるエンドツーエンド学習を可能にすること。
• テキスト生成と行動予測タスクからの弱い監督を用いることで、高価な信念状態アノテーションへの依存を低減すること。
• 低リソースおよび遠隔監督設定下で、外部知識を効果的に統合できるかを評価すること。
• 単一のニューラルモデルが、応答品質と事実的一致性の両面で、マルチステージシステムを上回ることを示すこと。

提案手法

• モデルは会話履歴と外部知識ベースを入力とし、知識トリプルに対するクロスアテンションを備えたトランスフォーマー型アーキテクチャを採用する。
• 共有ヘッドとタスク固有ヘッドを用いて、システム応答と次の行動（例：restaurant-book）を同時に予測する。
• 信念状態のアノテーションを必要とせず、応答生成損失と行動予測損失の両方を用いてエンドツーエンドで学習する。
• デコード中に関連する知識ベーストリプルに注目するアテンション機構を用いて、知識の根拠づけを実現する。
• 遠隔監督として、知識ベースからのネガティブ例を用いて、訓練中に観測されないまたは誤った事実を模擬する。
• モデルは MultiWOZ データセット上で評価され、知識ベースのサイズと監督タイプに関するアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 明示的な信念状態監督なしに、単一のニューラルネットワークがタスク指向対話における行動予測と応答生成を同時に実行できるか？
• RQ2 遠隔監督下で、外部知識ベースのサイズが変化するに従い、モデルの性能はどのように変化するか？
• RQ3 知識に基づいた対話生成において、標準的なトランスフォーマー型ベースラインと比較して、モデルはより高い事実的正確性を達成するか？
• RQ4 アノラ信念状態が与えられた場合、ベースラインシステムと比較して、モデルの性能はどの程度向上するか？
• RQ5 応答生成と行動予測からの弱い監督のみを用いて、外部知識を効果的に推論できるか？

主な発見

• 信念状態のアノテーションなしに、Neural Assistant は標準的なトランスフォーマーを上回る高い事実的正確性を達成し、特に知識ベースが小さい場合（例：100トリプル）に顕著で、エンティティ F-1 スコアが 74.0% に達する。
• 知識ベースのサイズが増加するにつれて、性能はわずかに低下し、28,483トリプルではエンティティ F-1 が 42.9% に低下する。これは、大規模な KB へのスケーリングに課題があることを示唆している。
• アノラ信念状態が与えられた場合、Neural Assistant は応答生成性能が著しく向上し、BLEU と文の自然さの両面で報告されたベースラインシステムを上回る。
• 大規模な知識ベースでも、行動予測性能（F-1 最大 90.2%）を維持でき、行動予測の分野での頑健性を示している。
• 遠隔監督はモデルが知識を推論するのを支援するが、ネガティブ例が増えると性能が低下する傾向にあり、ノイズの多い監督に感受性があることが示唆された。
• モデルは、複数ターンかつ複数意図の対話（例：1回の会話内でホテルとレストランの予約を同時に行う）を効果的に処理でき、統合的推論と生成を実現している。