[論文レビュー] User Modeling for Task Oriented Dialogues

İzzeddin Gür, Dilek Hakkani‐Tür+2 more|arXiv (Cornell University)|Nov 11, 2018

Speech and dialogue systems参考文献 18被引用数 15

ひとこと要約

本稿は、RNNを用いてユーザーの目的と会話履歴をエンコードすることで、エンド・トゥ・エンドでユーザー行動をモデル化する階層的シーケンス・ツー・シーケンス・ユーザー・シミュレータ（HUS）を提案する。これにより、会話方針のロバストな訓練と評価が可能となる。主な貢献は、会話の長さを短縮し、成功確率を向上させる目的正則化機構であり、変分拡張により応答の多様性が向上する。

ABSTRACT

We introduce end-to-end neural network based models for simulating users of task-oriented dialogue systems. User simulation in dialogue systems is crucial from two different perspectives: (i) automatic evaluation of different dialogue models, and (ii) training task-oriented dialogue systems. We design a hierarchical sequence-to-sequence model that first encodes the initial user goal and system turns into fixed length representations using Recurrent Neural Networks (RNN). It then encodes the dialogue history using another RNN layer. At each turn, user responses are decoded from the hidden representations of the dialogue level RNN. This hierarchical user simulator (HUS) approach allows the model to capture undiscovered parts of the user goal without the need of an explicit dialogue state tracking. We further develop several variants by utilizing a latent variable model to inject random variations into user responses to promote diversity in simulated user responses and a novel goal regularization mechanism to penalize divergence of user responses from the initial user goal. We evaluate the proposed models on movie ticket booking domain by systematically interacting each user simulator with various dialogue system policies trained with different objectives and users.

研究の動機と目的

• タスク指向対話システムにおける明示的な会話状態追跡を不要とするエンド・トゥ・エンドのニューラル・ユーザー・シミュレータの開発。
• スケーラブルで多様かつ現実的なユーザー行動のモデリングを可能にし、会話方針の訓練と評価を支援。
• 従来のシミュレータの限界、例えば応答の多様性の欠如やアノテート済み会話状態への過剰依存を是正。
• 潜在変数モデリングによる多様なユーザー行動のシミュレーションを通じて、会話方針のロバスト性を向上。
• 自然で目的に整合した会話が生成されるよう、評価の妥当性を高める。

提案手法

• RNNを用いてユーザーの目的とシステムの発話から固定長の表現にエンコードし、会話履歴をモデル化する階層的シーケンス・ツー・シーケンス・ユーザー・シミュレータ（HUS）を提案。
• 会話履歴の表現から各ターンにおけるユーザー応答をデコードすることで、明示的な状態追跡なしに暗黙のユーザー目的追跡を実現。
• スチュワティックな忺答を導入し、応答の多様性を向上させるために、潜在変数を導入した変分フレームワーク（VHUS）を提案。
• ユーザー応答と初期のユーザー目的との乖離をペナルティ化する目的正則化機構を導入し、目的指向的かつ簡潔な会話を促進。
• 評価のため、会話行動を自然言語発話に変換するテンプレートベースの自然言語生成を採用。
• 体系的な相互作用実験において、教師ありおよび強化学習ベースの会話方針を用いて、ユーザー・シミュレータの評価を実施。

実験結果

リサーチクエスチョン

• RQ1 明示的な会話状態追跡なしに、エンド・トゥ・エンドのニューラル・ユーザー・シミュレータが、従来のパイプラインベースのユーザーモデリングを効果的に置き換えることができるか？
• RQ2 ユーザー応答に潜在的変動性を導入することで、シミュレートされた会話の多様性と現実性はどのように変化するか？
• RQ3 目的正則化は、異なる会話方針アーキテクチャにおいて、会話の効率性と成功確率をどの程度向上させるか？
• RQ4 人間による評価において、異なるユーザー・シミュレータは自然さと文脈的適切さの観点でどのように比較されるか？
• RQ5 変分モデリングと目的正則化の組み合わせは、応答の多様性と会話効果性のバランスをより良くするか？

主な発見

• 目的正則化機構（HUSReg）により、冗長な対話やループを最小限に抑え、平均会話長が著しく短縮され、より目的指向的な会話が実現された。
• HUSRegは人間評価で最高のタスク完了率（平均4.88点）と最小の標準偏差を達成し、ベースラインのシミュレータおよびアジェンダベースのモデルを上回った。
• 強化学習ベースの会話方針は、ユーザー応答の変動に対してよりロバストであり、多様なシミュレートされたユーザー行動下でも高い性能を維持した。
• 変分ユーザー・シミュレータ（VHUS）およびその正則化版（VHUSReg）は、エントロピーとパープレクサリティの観点で最高の応答多様性スコアを達成し、潜在変数モデリングの有効性を裏付けた。
• 人間評価では、提案されたすべてのシミュレータが非常に自然で文脈的に適切な応答を生成しており、特にVHUSRegが多様性と一貫性のバランスが最良であった。
• HUSに会話長を特徴量として組み込むことで、タスク成功度と会話長の性能が向上したが、応答の多様性に影響を与えることなく実現された。