[論文レビュー] Learning to Retrieve Entity-Aware Knowledge and Generate Responses with Copy Mechanism for Task-Oriented Dialogue Systems

Chao-Hong Tan, Xiaoyu Yang+8 more|arXiv (Cornell University)|Dec 22, 2020

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本論文では、エンティティに配慮した知識抽出と応答生成に、事前学習言語モデル（ELECTRAおよびRoBERTa）を活用したタスク指向対話システムを提案する。コピーメカニズムを組み合わせることで、DSTC9 Track 1ベンチマークにおいて自動評価で2位、人的評価で4位を達成し、潜在変数モデリングとポストプロセッシング戦略により、知識の根拠付けの強化と応答のなめらかさが向上することを示した。

ABSTRACT

Task-oriented conversational modeling with unstructured knowledge access, as track 1 of the 9th Dialogue System Technology Challenges (DSTC 9), requests to build a system to generate response given dialogue history and knowledge access. This challenge can be separated into three subtasks, (1) knowledge-seeking turn detection, (2) knowledge selection, and (3) knowledge-grounded response generation. We use pre-trained language models, ELECTRA and RoBERTa, as our base encoder for different subtasks. For subtask 1 and 2, the coarse-grained information like domain and entity are used to enhance knowledge usage. For subtask 3, we use a latent variable to encode dialog history and selected knowledge better and generate responses combined with copy mechanism. Meanwhile, some useful post-processing strategies are performed on the model's final output to make further knowledge usage in the generation task. As shown in released evaluation results, our proposed system ranks second under objective metrics and ranks fourth under human metrics.

研究の動機と目的

• 構造化されていない知識へのアクセスが課題となるタスク指向対話システムの課題に対処すること。ここでは、従来のAPIやデータベースでは不十分である。
• FAQ やレビューなどの非構造的ソースから抽出された関連知識スニペットを統合することで、応答生成を改善すること。
• ドメインとエンティティの情報を入力表現に組み込むことで、ドメイン外および未学習のエンティティに対してもモデルの汎化能力を向上させること。
• シーケンス・トゥ・シーケンスモデリングと知識コピーメカニズム、潜在変数符号化を組み合わせることで、より正確で自然な応答を生成すること。
• 自動評価と人的評価の両方のスコアを向上させるポストプロセッシング戦略により、モデル出力を最適化すること。

提案手法

• 知識要求ターン検出にELECTRAをベースエンコーダーとして使用し、ドメインおよびエンティティラベルを追加して対話履歴で微調整する。
• 対話文脈に基づいて知識ベースから最も関連性の高い知識スニペットを選択するためのリトリーブ・ランクイングパイプラインをRoBERTaで実装する。
• 対話履歴と選択された知識を同時に符号化する潜在変数モデルを適用し、応答生成のためのより良い文脈表現を実現する。
• デコーダーにコピーメカニズムを統合し、知識コンテンツを直接応答にコピー可能にすることで、事実の整合性を向上させる。
• ビームサーチを用いた二段階のデコード戦略（SRGおよびFFBS）を採用し、多様性と高品質な応答を生成する。
• モデル出力を精緻化するためのポストプロセッシング技術を適用し、知識の活用度と人的評価スコアを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ELECTRA や RoBERTa などの事前学習言語モデルは、タスク指向対話における知識要求ターン検出に効果的に機能するか？
• RQ2 ドメインおよびエンティティ情報の統合は、ゼロショットまたはフェイントショット設定における知識選択性能をどの程度向上させるか？
• RQ3 潜在変数表現は、対話履歴、知識、生成された応答の間の整合性をどの程度向上させるか？
• RQ4 コピーメカニズムは、非構造的ソースからの事実の知識を生成応答に保持するのにどの程度有効か？
• RQ5 ポストプロセッシング戦略は、自動評価スコアを低下させることなく、応答品質を向上させることができるか？

主な発見

• 提案されたシステムは、DSTC9 Track 1のテストセットにおいて、自動評価で2位、人的評価で4位を達成した。
• エンティティに配慮したELECTRAモデルは、知識要求ターン検出において、元のELECTRAと比較してF1スコアを2.6%向上させた。
• 知識コピーメカニズムは、ベースライン生成と比較して、BLEU-4を0.5%、METEORを1.6%、ROUGE-Lを1.2%向上させた。
• ポストプロセッシングは、適切さと正確さの人的評価スコアを向上させたが、自動評価スコアはわずかに低下させた。
• データ拡張により、特にドメインおよびエンティティ予測において、recall@1が向上し、ドメイン外例への一般化能力が向上した。
• アンサンブルモデルは、知識選択においてベースラインを大きく上回り、mrr@5およびrecall@5において顕著な向上を示した。