[論文レビュー] Hierarchical Text Generation and Planning for Strategic Dialogue

Denis Yarats, Mike Lewis|arXiv (Cornell University)|Dec 15, 2017

Topic Modeling参考文献 19被引用数 29

ひとこと要約

本稿では、会話の文脈的意味をその言語的形態から分離する階層的潜在変数モデルを提案する。文単位の潜在表現を、直後の会話の応答や行動の尤度を最大化するように学習させることで、意味的影響を捉える。これらの意味に配慮した表現に条件づけて生成することで、戦略的計画の向上、言語的および意味的多様性の向上、文脈に応じた安定した強化学習が可能となり、同時に自然な表現の質を損なわずに、先行手法を上回るタスク報酬と会話品質を達成する。

ABSTRACT

End-to-end models for goal-orientated dialogue are challenging to train, because linguistic and strategic aspects are entangled in latent state vectors. We introduce an approach to learning representations of messages in dialogues by maximizing the likelihood of subsequent sentences and actions, which decouples the semantics of the dialogue utterance from its linguistic realization. We then use these latent sentence representations for hierarchical language generation, planning and reinforcement learning. Experiments show that our approach increases the end-task reward achieved by the model, improves the effectiveness of long-term planning using rollouts, and allows self-play reinforcement learning to improve decision making without diverging from human language. Our hierarchical latent-variable model outperforms previous work both linguistically and strategically.

研究の動機と目的

• エンドツーエンド会話モデルにおける言語的形態と戦略的意味の混同を解消し、効果的な計画立案と強化学習を妨げる要因を解消すること。
• 離散的潜在表現を用いて意味的に多様な候補メッセージの生成を可能にすることで、会話システムにおける長期的計画を改善すること。
• 強化学習による戦略的意思決定の向上を図りながら、言語的自然さを損なわず、テキスト品質を維持すること。
• メッセージが会話継続に与える影響を捉える文の表現を構築すること、表面的な形ではなくその影響を捉えること。
• 戦略的会話における安定した自己対戦強化学習を可能にするために、意味的意図と言語的実現を分離すること。

提案手法

• モデルは、即時のメッセージ $ x_t $ ではなく、将来の会話の応答や行動の尤度を最大化することで、離散的潜在文表現 $ z_t $ を学習する。これにより、表面的な形ではなく意味的影響を捉える。
• 階層的生成フレームワークを採用し、エージェントはまず潜在的計画 $ z_t $ をサンプリングし、その後この計画に条件づけて応答を生成することで、意図した目標と整合性を保つ。
• 多様な $ z_t $ サンプルを用いてロールアウトを実施し、異なる戦略的経路の期待報酬を推定することで、長期的計画を向上させる。
• 強化学習は、$ z_t $ を選択するパラメータのファインチューニングにより適用され、ポリシーの改善を図りながら自然さを維持する。
• モデルは、会話履歴と将来の結果から、分離された表現を学ぶために変分自己オートエンコーダに類似したシーケンス・トゥ・シーケンスアーキテクチャを用いる。
• 潜在空間は、表面形が異なっても同じ意味的効果を持つものが同じ $ z_t $ にマッピングされるよう、対照的学習の目的関数により訓練される。

実験結果

リサーチクエスチョン

• RQ1 会話継続に与える影響に基づいて潜在文表現を学習することで、戦略的計画性と最終タスクパフォーマンスが向上するか？
• RQ2 意味的意図と言語的実現を分離することで、より多様で整合性のある会話応答が得られるか？
• RQ3 強化学習により会話ポリシーを改善しても、生成テキストの自然さが低下しないか？
• RQ4 潜在的計画を用いた階層的生成は、自己回帰的テキスト生成と比べて意味的多様性と戦略的有効性において優れているか？
• RQ5 分離された表現は、戦略的会話における安定した自己対戦訓練をどの程度支援するか？

主な発見

• 階層的モデルはベースラインモデルと比較して10%高い最終タスク報酬を達成し、戦略的パフォーマンスの向上を示した。
• モデルは751個の固有のメッセージ文字列を生成し、そのうち18%が未知語語彙（OOV）であったのに対し、完全な自己回帰モデルでは60%であった。これは、より優れた一般化と記憶の低減を示している。
• 自己一貫性エラー（例：アイテム所有に関する矛盾する主張）は、階層的モデルで11%、完全モデルで23%発生しており、内部整合性の向上を示している。
• 階層的モデルでは会話内のメッセージの繰り返し率が1%に低下したのに対し、ベースラインでは12%であった。これは、より良い探索と繰り返し戦略への過剰な依存の低減を示している。
• 人間評価により、表面形が大きく異なっても、階層的モデルはより意味的に整合性があり言語的に多様な応答を生成することが確認された。
• 多様な潜在コードを用いたロールアウトベースの計画により、図5に示すように、妥結に至る前に複数の提案を探索するより効果的な交渉戦略が得られた。