[論文レビュー] Guided Dialog Policy Learning without Adversarial Learning in the Loop

Ziming Li, Sung‐Jin Lee+6 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 29被引用数 13

ひとこと要約

本稿では、敵対的報酬学習と方策最適化を分離することで、オンポリシーおよびオフポリシー強化学習の両方を活用できる2段階手法を提案する。事前学習段階でVAEベースの生成器を用いて人間と機械生成の対話文を区別する識別器を訓練することで、得られる報酬モデルはタスクの成功確率を向上させ、未学習ドメインへの転移学習を可能にする。

ABSTRACT

Reinforcement Learning (RL) methods have emerged as a popular choice for training an efficient and effective dialogue policy. However, these methods suffer from sparse and unstable reward signals returned by a user simulator only when a dialogue finishes. Besides, the reward signal is manually designed by human experts, which requires domain knowledge. Recently, a number of adversarial learning methods have been proposed to learn the reward function together with the dialogue policy. However, to alternatively update the dialogue policy and the reward model on the fly, we are limited to policy-gradient-based algorithms, such as REINFORCE and PPO. Moreover, the alternating training of a dialogue agent and the reward model can easily get stuck in local optima or result in mode collapse. To overcome the listed issues, we propose to decompose the adversarial training into two steps. First, we train the discriminator with an auxiliary dialogue generator and then incorporate a derived reward model into a common RL method to guide the dialogue policy learning. This approach is applicable to both on-policy and off-policy RL methods. Based on our extensive experimentation, we can conclude the proposed method: (1) achieves a remarkable task success rate using both on-policy and off-policy RL methods; and (2) has the potential to transfer knowledge from existing domains to a new domain.

研究の動機と目的

• 強化学習に基づく対話方策学習における不安定性と報酬の疎らさの問題に対処する。
• 敵対的学習をループ内に含む手法の制限を克服する。これはポリシー勾配法に限定され、局所最適解やモード崩壊のリスクを伴う。
• 既存の対話ドメインで報酬関数を事前学習することで、新しい未学習ドメインへの転移学習を可能にする。
• 報酬学習を方策最適化から分離し、オンポリシーおよびオフポリシー強化学習アルゴリズムの両方との統合を可能にする。
• 人間生成データから高品質な対話パターンを捉えるスケーラブルで一般化可能な報酬関数を開発する。

提案手法

• 条件付きVAEを補助的な対話状態生成器として訓練し、現実的な対話状態を生成する。
• 識別器を用いて、人間生成の対話文とVAEからの機械生成対話文を区別し、敵対的損失を最適化する。
• 識別器の損失をVAEを介してバックプロパゲートすることで、オフラインで事前学習段階において生成器と識別器を同時に訓練する。
• 訓練済みの識別器を固定し、事前学習済みの報酬モデルとして扱い、標準的なRLアルゴリズム（例：PPO、DQN）に統合して方策学習を実行する。
• ドメイン、対話行動、スロットをワンホットエンコーディングで再定式化することで、意味的類似性と転送性を向上させる。
• 4つのソースドメイン（例：Restaurant, Bus, Attraction, Train）で訓練されたGAN-VAE報酬関数を、新しい未学習ドメイン（Hotel）にゼロショットまたはフェイントショットで適応させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的報酬学習を方策学習から分離することで、オフポリシーRLアルゴリズムの利用が可能になるか？
• RQ2 人間生成対話文で事前学習した報酬関数は、手作業で作成された報酬と比較して対話方策性能を向上させるか？
• RQ3 事前学習済み報酬モデルは、新しい未学習対話ドメインに知識を効果的に転送できるか？
• RQ4 本手法は、GAIL や AIRL などのエンドツーエンド敵対的学習と比較して、サンプル効率および収束安定性に優れているか？
• RQ5 提案手法の行動表現は、異なるドメイン間での転移学習および方策一般化にどの程度寄与するか？

主な発見

• 本手法はPPOおよびDQNの両方で約87%のタスク成功確率を達成し、人間アノテーション報酬を用いた教師微調整の性能と同等である。
• DQNベースのエージェントは、PPOベースのエージェントよりも事前学習済み報酬関数の恩恵をより強く受けており、価値ベース手法における信号の有効利用が顕著である。
• 未学習のHotelドメインに知識を転送する際、事前学習済み報酬関数を用いて訓練したDQN_newは、ベースラインDQN(Human)を上回る性能を示した。
• 4つのソースドメイン（Restaurant, Bus, Attraction, Train）で訓練されたGAN-VAE報酬関数を用いた転移学習設定は、初期から訓練する場合と比較してHotelドメインでの性能を顕著に向上させた。
• 事前学習済み報酬関数は、異なるスロットタイプや構造を持つドメイン間で、効果的なゼロショットまたはフェイントショット適応を可能にし、優れた一般化性能を示した。
• 報酬学習段階を分離することで、交互に敵対的学習を繰り返す手法が抱える局所最適解やモード崩壊の問題を効果的に回避できた。