[論文レビュー] Autoregressive Entity Generation for End-to-End Task-Oriented Dialog

Guanhuan Huang, Xiaojun Quan+1 more|arXiv (Cornell University)|Sep 19, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、知識ベースからのエンティティを自己回帰的に生成した後に応答を生成するエンドツーエンドのタスク指向対話システムを提案する。エンティティの一貫性を保証するためのトライ木制約と、エンドツーエンド学習を可能にするためのロジット連結戦略を用いる。MultiWOZ 2.1 および CAMREST における実験では、GPT-KE などの強力なベースラインよりも応答品質およびエンティティ一貫性において顕著な向上を示した。

ABSTRACT

Task-oriented dialog (TOD) systems often require interaction with an external knowledge base to retrieve necessary entity (e.g., restaurant) information to support the response generation. Most current end-to-end TOD systems either retrieve the KB information explicitly or embed it into model parameters for implicit access.~While the former approach demands scanning the KB at each turn of response generation, which is inefficient when the KB scales up, the latter approach shows higher flexibility and efficiency. In either approach, the systems may generate a response with conflicting entity information. To address this issue, we propose to generate the entity autoregressively first and leverage it to guide the response generation in an end-to-end system. To ensure entity consistency, we impose a trie constraint on entity generation. We also introduce a logit concatenation strategy to facilitate gradient backpropagation for end-to-end training. Experiments on MultiWOZ 2.1 single and CAMREST show that our system can generate more high-quality and entity-consistent responses.

研究の動機と目的

• エンドツーエンドのタスク指向対話システムにおけるエンティティの一貫性の欠如、すなわち矛盾するか誤ったエンティティ情報を生成する問題に対処すること。
• データ拡張を通じて知識ベース情報をモデルパラメータに埋め込むことで、推論時に外部知識ベースに依存することを排除すること。
• ターゲットエンティティを最初に生成し、それを応答生成の入力として用いることで、応答品質およびエンティティ一貫性を向上させること。
• 整数で符号化されたエンティティトークンには微分不可能な性質があるが、新規のロジット連結戦略によりエンドツーエンド学習を可能にすること。
• デコード中にトライ木制約を適用することで、生成されたエンティティが有効な知識ベースエントリに限定されることを保証すること。

提案手法

• 知識ベースエントリを対話文脈に挿入することで訓練データを拡張し、知識ベースのサイズに比例してスケーリングしない形でモデルパラメータに知識を埋め込む。
• 対話文脈およびユーザー発話に条件づけられた自己回帰的デコーダーを用いて、まずエンティティトークン列を生成する。
• デコード中にトライ木制約を適用し、無効なエンティティトークンをフィルタリングすることで、有効な知識ベースエンティティのみを生成することを保証する。
• 対話文脈、ユーザー発話、および生成されたエンティティのロジットベクトルを組み合わせるロジット連結機構を導入し、勾配のバックプロパゲーションを可能にする。
• 最終的な応答生成におけるクロスエントロピー損失を用いて、生成されたエンティティを入力トークン列として用いることで、システム全体をエンドツーエンドで学習する。
• 訓練中にエンティティ生成パスを明確に分離するために、勾配を遮断する操作を部分的に適用し、エンティティジェネレータへの勾配伝搬を維持する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的エンティティ生成は、エンドツーエンドのタスク指向対話システムにおけるエンティティ一貫性を向上させることができるか？
• RQ2 デコード中にトライ木制約を適用することで、生成されたエンティティの有効性および一貫性はどのように影響を受けるか？
• RQ3 ロジット連結戦略により、エンドツーエンド学習環境下でエンティティ生成モジュールを効果的にバックプロパゲートできるか？
• RQ4 学習時（LogitConcatを有効に）と推論時（LogitConcatなし）のギャップが、モデル性能およびエンティティ一貫性に与える影響はどの程度か？
• RQ5 知識ベース埋め込みに用いるテンプレート数の増加が、下流のメトリクスにおけるモデル性能に与える影響は何か？

主な発見

• 提案手法であるECOは、強力なエンドツーエンドベースラインであるGPT-KEを大きく上回り、MultiWOZ 2.1およびCAMRESTの両方でエンティティ一貫性および成功確率において顕著な向上を示した。
• ロジット連結を用いないバージョンと比較して、Informスコアで5.31の絶対的向上、Success率で4.87の向上を達成し、エンドツーエンド学習における有効性を示した。
• トライ制約を削除すると、Informで2.95、Successで3.25、Consistencyで0.53の低下を示し、エンティティ有効性の観点でその重要性を確認した。
• オリジナルの訓練データのみを用いた場合（ECO w/ tr）は、Informで16.08、Successで20.5の低下を示し、エンティティラベルを含む拡張データの重要性を示した。
• 評価時にLogitConcatを適用した場合（ECO w/ LogitEval）は顕著な性能低下を示し、確率分布を歪め、エンティティ一貫性を損なうことが判明した。
• 知識ベース埋め込みに用いるテンプレート数を増やすことで性能が向上するが、100〜400の範囲で変動が生じ、収益の逓減とテンプレート選択への感受性を示唆した。