[論文レビュー] Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models

Tiancheng Zhao, Kaige Xie+1 more|arXiv (Cornell University)|Feb 23, 2019

Topic Modeling参考文献 40被引用数 22

ひとこと要約

本稿では、対話行動をデータから教師なしで学習する潜在変数として扱う、Latent Action Reinforcement Learning (LaRL) というフレームワークを提案する。これにより、手動ラベルが不要な対話レベルの行動を、エンドツーエンドの対話エージェントが発見可能になる。この手法は正則化された変分的目的関数とアテンション強化型離散潜在変数を用い、MultiWoz において成功確率が 18.2% の絶対的向上を達成し、語彙レベルの強化学習よりも優れたポリシー性能を示すとともに、退化した言語生成を回避する。

ABSTRACT

Defining action spaces for conversational agents and optimizing their decision-making process with reinforcement learning is an enduring challenge. Common practice has been to use handcrafted dialog acts, or the output vocabulary, e.g. in neural encoder decoders, as the action spaces. Both have their own limitations. This paper proposes a novel latent action framework that treats the action spaces of an end-to-end dialog agent as latent variables and develops unsupervised methods in order to induce its own action space from the data. Comprehensive experiments are conducted examining both continuous and discrete action types and two different optimization methods based on stochastic variational inference. Results show that the proposed latent actions achieve superior empirical performance improvement over previous word-level policy gradient methods on both DealOrNoDeal and MultiWoz dialogs. Our detailed analysis also provides insights about various latent variable approaches for policy learning and can serve as a foundation for developing better latent actions in future research.

研究の動機と目的

• エンドツーエンドの対話システムにおける語彙レベルの強化学習の限界、すなわち長距離にわたる責任割り当ての問題と、一貫性のない応答の生成を解消すること。
• 手動ラベルのない対話行動を用いずに、高レベルの対話意味を捉える潜在行動空間を教師なしで導出する手法を開発すること。
• 潜在変数モデルが、対話エージェントにおける強化学習のための効果的な行動空間としてどのように機能するかを調査すること。これにより、ポリシー最適化と応答品質が向上する。
• 離散的・連続的潜在変数の種別と、訓練目的関数の違いが、対話ポリシー性能に与える影響を分析すること。
• 潜在空間モデリングにおける露出バイアスを軽減し、強化学習のファインチューニング段階での探索を改善すること。

提案手法

• 対話文脈からの変分推論により、対話行動を離散的または連続的潜在変数としてモデル化する潜在変数フレームワークを提案する。
• 事前学習中に事後分布と事前分布を一致させるために、露出バイアスを低減する新たな正則化された下界（ELBO）目的関数 $\mathcal{L}_{lite}$ を導入する。
• 離散的潜在変数をデコーダーに統合するためにアテンション機構を活用し、長文応答生成の性能を向上させる。
• 確率的ポリシー勾配法（例：REINFORCE）を用いて、タスク固有の報酬を最適化する潜在行動空間を最適化する。
• 2段階の訓練パイプラインを適用する：事前学習段階で $\mathcal{L}_{lite}$ を使用し、その後ポリシー勾配強化学習でファインチューニングを行う。
• カテゴリカル（Cat）、ガウス（Gauss）、およびそれらのアテンション強化型変種（AttnCat、AttnGauss）を含む、複数の潜在変数タイプを比較する。

実験結果

リサーチクエスチョン

• RQ1 人為的対話行動ラベルが存在しない状況でも、潜在変数モデルが生の対話データから意味的で高レベルの行動空間を学習できるか？
• RQ2 離散的および連続的潜在変数の選択が、エンドツーエンドの対話システムにおけるポリシー学習と応答品質に与える影響は何か？
• RQ3 正則化された変分的目的関数（$\mathcal{L}_{lite}$）は、標準的なELBOに比べて露出バイアスの低減と強化学習性能の向上に優れているか？
• RQ4 アテンション機構は、離散的潜在変数をデコーダーに効果的に統合できるか？これにより、長く一貫性のある応答をモデル化できるか？
• RQ5 潜在空間の正則化（$\beta$ を用いて）は、強化学習における探索と最終的なポリシー性能にどのような影響を与えるか？

主な発見

• $\mathcal{L}_{lite}$ 目的関数は標準的なELBOを著しく上回り、露出バイアスの低減と、事前学習およびファインチューニング段階の両方での性能向上を実現した。
• 離散的カテゴリカル潜在行動は、ガウス的連続的行動に比べて、ポリシー最適化において一貫して優れた性能を示し、より高い報酬と安定した学習を達成した。
• 正則化パrameter $\beta = 0.01$ を用いた潜在行動モデルは、正則化なしのモデルに比べ、顕著に高い最終報酬を達成した。これは、エントロピー正則化が効果的な探索に不可欠であることを示している。
• LiteCat および LiteAttnCat モデルは、MultiWoz データセットにおいて、以前の最先端手法に比べて 18.2% の絶対的成績向上を達成した。
• LaRL モデルは、語彙レベルの強化学習ベースラインとは異なり、退化した言語生成を回避し、高い応答の流暢さと一貫性を維持した。
• LCR曲線解析により、特に離散的モデルが、ポリシー学習においてより速く、より安定した収束を達成することが確認された。