[論文レビュー] Retrospective and Prospective Mixture-of-Generators for Task-oriented Dialogue Response Generation

Jiahuan Pei, Pengjie Ren+2 more|arXiv (Cornell University)|Nov 19, 2019

Topic Modeling参考文献 34被引用数 5

ひとこと要約

本稿では、目的対話応答生成のためのgeneratorsの混合（MoGNet）を提案する。各意図ごとに特化した専門的エキスパートgeneratorと、それらを調整するためのチェアgeneratorを用い、後向き（RMoG）および前向き（PMoG）の調整戦略を採用する。MoGNetは、自動評価および人間評価の両面で、MultiWOZベンチマークにおいて最先端の手法を著しく上回り、意図別特化と長距離文脈モデリングによる意思決定の強化によって、応答品質と解釈可能性が向上していることを示している。

ABSTRACT

Dialogue response generation (DRG) is a critical component of task-oriented dialogue systems (TDSs). Its purpose is to generate proper natural language responses given some context, e.g., historical utterances, system states, etc. State-of-the-art work focuses on how to better tackle DRG in an end-to-end way. Typically, such studies assume that each token is drawn from a single distribution over the output vocabulary, which may not always be optimal. Responses vary greatly with different intents, e.g., domains, system actions. We propose a novel mixture-of-generators network (MoGNet) for DRG, where we assume that each token of a response is drawn from a mixture of distributions. MoGNet consists of a chair generator and several expert generators. Each expert is specialized for DRG w.r.t. a particular intent. The chair coordinates multiple experts and combines the output they have generated to produce more appropriate responses. We propose two strategies to help the chair make better decisions, namely, a retrospective mixture-of-generators (RMoG) and prospective mixture-of-generators (PMoG). The former only considers the historical expert-generated responses until the current time step while the latter also considers possible expert-generated responses in the future by encouraging exploration. In order to differentiate experts, we also devise a global-and-local (GL) learning scheme that forces each expert to be specialized towards a particular intent using a local loss and trains the chair and all experts to coordinate using a global loss. We carry out extensive experiments on the MultiWOZ benchmark dataset. MoGNet significantly outperforms state-of-the-art methods in terms of both automatic and human evaluations, demonstrating its effectiveness for DRG.

研究の動機と目的

• 既存の対話応答生成モデルが、各トークンが単一の分布から抽出されると仮定している点に起因する制限を解消する。これは、応答における意図別変動を捉えるのに不十分である。
• 特定の意図（例：ドメインやシステムアクション）毎に特化した専門的エキスパートgeneratorを可能にし、中央のチェアgeneratorによる調整を統合することで、応答品質と解釈可能性を向上させる。
• 過去（後向き）および未来（前向き）のエキスパート予測を統合することで、チェアgeneratorの意思決定能力を強化し、より良い長距離文脈認識を実現する。
• エキスパートの特化とグローバルな調整の両立を図るための、グローバル・ローカル（GL）学習メカニズムを用いた有効な訓練スキームを開発する。
• 大規模ベンチマーク上で、MoGNetの各構成要素（RMoG, PMoG, GL）の有効性を検証し、既存手法を上回る優れた性能を示す。

提案手法

• MoGNetは、チェアgeneratorと複数のエキスパートgeneratorを有するモジュラーなアーキテクチャを採用しており、各エキスパートは特定の意図（例：ホテル予約やタクシー手配）に特化している。
• チェアgeneratorは、アテンション機構を用いて全エキスパートの出力を集約し、最終的な応答を1トークンずつ生成する。
• 後向きのgenerators混合（RMoG）では、現在の時刻ステップまでに生成された過去のエキスパート出力を、チェアが考慮できるようにする。
• 前向きのgenerators混合（PMoG）は、RMoGを拡張し、エキスパートが予測する将来の応答も組み込むことで、チェアが将来を予測し、より良い意思決定が可能になる。
• グローバル・ローカル（GL）学習スキームは、各意図ごとのエキスパート特化を強化するローカル損失と、チェアと全エキスパートが一貫性があり、タスクに適合した応答を生成するよう調整するグローバル損失を併用する。
• モデルは、スケジュールドサンプリングを用いたクロスエントロピー損失でMultiWOZデータセット上でエンド・ツー・エンドに訓練され、推論は自己回帰的に行われる。

実験結果

リサーチクエスチョン

• RQ1 意図別特化エキスパートを有するgenerators混合アーキテクチャは、単一generatorモデルと比較して、タスク指向対話システムにおける応答品質を向上させることができるか？
• RQ2 PMoGによって過去と未来の両方のエキスパート予測を統合することは、過去の文脈のみに依存する場合と比較して、より優れた応答生成をもたらすか？
• RQ3 GL学習スキームは、エキスパート特化とグローバルな調整のバランスを取ることで、どの程度モデル性能を向上させるか？
• RQ4 MoGNetは、MultiWOZベンチマークにおける自動評価および人間評価指標で、最先端の手法と比較してどのように差をつけるか？
• RQ5 識別可能なエキスパート貢献により、障害分析が可能になることで、解釈性が向上するか？

主な発見

• MoGNetは、MultiWOZベンチマークで最先端の性能を達成し、自動評価および人間評価の両方で、先行手法を上回っている。
• PMoGの導入により、時間や料金情報の正確な含め方など、長距離計画を要する状況において、より正確で文脈に適した応答が得られるようになった。
• GL学習スキームにより、エキスパートが意図ごとに効果的に特化するとともに、グローバルな一貫性を維持できるようになり、モデル性能が顕著に向上した。
• アブレーションスタディの結果、PMoGやGLを削除すると性能が著しく低下し、特に時間や料金といった将来依存属性を捉えるためにPMoGが極めて重要であることが示された。
• ベースラインと比較して、MoGNetは冗長で長めの応答を減少させ、タスク完了の目的により適した応答を生成している。
• 人間評価の結果、MoGNetは、既存手法と比較してより自然で関連性があり、タスクに適合した応答を生成することが確認された。