[論文レビュー] Entity-Consistent End-to-end Task-Oriented Dialogue System with KB Retriever

Libo Qin, Yijia Liu+4 more|arXiv (Cornell University)|Sep 15, 2019

Topic Modeling参考文献 25被引用数 7

ひとこと要約

本論文は、エンドツーエンドのタスク指向対話システムにおけるエンティティの一貫性を向上させるために、2段階のKB検索フレームワークを提案する。まずメモリネットワークを用いて対話履歴に基づき最も関連性の高いKB行を検索し、次に最も相関の高いKB列に注目することで、応答生成中に不要なエンティティをフィルタリングする。このアプローチにより、矛盾するエンティティの生成が顕著に減少する。自動評価および人的評価の両方でベースラインを上回り、特に正しさと一貫性の面で優れている。

ABSTRACT

Querying the knowledge base (KB) has long been a challenge in the end-to-end task-oriented dialogue system. Previous sequence-to-sequence (Seq2Seq) dialogue generation work treats the KB query as an attention over the entire KB, without the guarantee that the generated entities are consistent with each other. In this paper, we propose a novel framework which queries the KB in two steps to improve the consistency of generated entities. In the first step, inspired by the observation that a response can usually be supported by a single KB row, we introduce a KB retrieval component which explicitly returns the most relevant KB row given a dialogue history. The retrieval result is further used to filter the irrelevant entities in a Seq2Seq response generation model to improve the consistency among the output entities. In the second step, we further perform the attention mechanism to address the most correlated KB column. Two methods are proposed to make the training feasible without labeled retrieval data, which include distant supervision and Gumbel-Softmax technique. Experiments on two publicly available task oriented dialog datasets show the effectiveness of our model by outperforming the baseline systems and producing entity-consistent responses.

研究の動機と目的

• エンドツーエンドのタスク指向対話システムで、KB全体にわたるアテンションを用いる際のエンティティの一貫性の欠如を是正すること。
• 対話履歴に基づき、最も関連性の高いKB行を明示的に検索することで、応答生成を改善すること。
• 生成過程において、検索された行を用いて不要なKBエンティティをフィルタリングすることで、エンティティの一貫性を向上させること。
• ラベル付きの検索データがなくても、遠隔教師あり学習とGumbel-Softmaxを用いてKBリトリーバーを訓練可能にする。
• ほとんどの応答が1つのKB行によって支えられることを検証し、2段階検索アプローチの妥当性を裏付けること。

提案手法

• 対話履歴から最も関連性の高いKB行を検索するためのメモリネットワークを用いたKBリトリーバー・モジュールを導入する。
• 検索されたKB行を用いて、Seq2Seq応答生成モデルにおける不要なエンティティをフィルタリングし、エンティティの一貫性を向上させる。
• エンティティ生成に適した最も相関の高いKB列を選択するための列レベルのアテンション機構を適用する。
• ヒューリスティクスを用いて弱教師付きの検索学習データを生成する遠隔教師あり学習を採用する。
• リトリーバーにおける非微分可能な選択プロセスを微分可能に近似するためにGumbel-Softmaxを活用する。
• 検索されたKB行および列から直接エンティティを生成できるコピーメカニズムを統合する。

実験結果

リサーチクエスチョン

• RQ1 2段階のKB検索プロセスは、エンドツーエンドのタスク指向対話システムにおけるエンティティの一貫性を向上させることができるか？
• RQ2 ほとんどの対話応答が1つのKB行によって支えられていると仮定することは妥当か？
• RQ3 手動でアノテートされた検索ラベルがなくても、KBリトリーバーは効果的に訓練可能か？
• RQ4 検索されたKB行を用いて不要なエンティティをフィルタリングすることで、応答の一貫性および正しさが向上するか？
• RQ5 遠隔教師あり学習とGumbel-Softmaxは、KBリトリーバーの訓練においてどのように比較されるか？

主な発見

• 提案フレームワークは自動評価および人的評価の両方でベースラインモデルを上回り、Gumbel-Softmaxを用いたInCarデータセットでは72.1%の一貫性スコアを達成した。
• 人的評価では、正しさ（4.64/5）と流暢さ（4.73/5）の両面でベースラインと比べ顕著な向上が確認された。
• データセットの80％以上が1つのKB行によって支えられることを示し、本手法の根幹的仮定の妥当性を裏付けた。
• Gumbel-Softmaxを用いて訓練されたKBリトリーバーは、遠隔教師あり学習ベースラインよりも優れた性能を示した。
• 可視化により、エンティティ 200_Alester_Ave を生成する際、モデルが正しく第4行目および第1列目に注目していることが確認された。