[論文レビュー] Fantastic Rewards and How to Tame Them: A Case Study on Reward Learning for Task-oriented Dialogue Systems

Yihao Feng, Shentao Yang+5 more|arXiv (Cornell University)|Feb 20, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、エンドツーエンドのタスク指向対話システムにおける報酬関数学習のため、学習による順序付けにインspiredされた2つの目的関数、RewardNet と RewardMLE を提案する。対話軌道からの順序付けに基づく報酬信号を学習することで、より効果的なオフライン強化学習が可能となり、MultiWOZ 2.0 ベンチマークで統合得点 107.11 を達成し、最先端の性能を実現した。

ABSTRACT

When learning task-oriented dialogue (ToD) agents, reinforcement learning (RL) techniques can naturally be utilized to train dialogue strategies to achieve user-specific goals. Prior works mainly focus on adopting advanced RL techniques to train the ToD agents, while the design of the reward function is not well studied. This paper aims at answering the question of how to efficiently learn and leverage a reward function for training end-to-end (E2E) ToD agents. Specifically, we introduce two generalized objectives for reward-function learning, inspired by the classical learning-to-rank literature. Further, we utilize the learned reward function to guide the training of the E2E ToD agent. With the proposed techniques, we achieve competitive results on the E2E response-generation task on the Multiwoz 2.0 dataset. Source code and checkpoints are publicly released at https://github.com/Shentao-YANG/Fantastic_Reward_ICLR2023.

研究の動機と目的

• エンドツーエンドのタスク指向対話（ToD）システムにおけるオフライン強化学習における報酬信号の疎らさの課題に対処すること。
• 対話軌道間の順序付けを捉えるより情報豊かな報酬関数を設計し、方策最適化を改善すること。
• 学習された報酬信号を用いて事前学習済み言語モデルの微調整を効果的に行い、より良い対話生成を実現すること。
• 相対的好みから学習することで、人間の行動を模倣するのではなく、一般化性能と性能を向上させること。
• 複雑な対話環境における報酬関数学習のための安定的かつスケーラブルなフレームワークを提供すること。

提案手法

• 好みの信号に基づき、肯定的（高品質）な対話軌道を否定的なものより高い順位にランク付けするコントラスト学習目的である RewardNet を提案する。
• 最大尤度推定に基づく手法として、学習された報酬関数を用いて好ましい軌道の確率をモデル化する RewardMLE を導入する。
• 報酬関数をパラメータ化するため、BARTベースのアーキテクチャを用い、報酬モデルから応答生成方策への勾配伝播を可能にする。
• MultiWOZ 2.0 データセットから固定長の対話軌道を用いて報酬モデルを学習し、類似した複雑さの軌道を比較することで、意味のある好みの学習を確保する。
• 学習された報酬関数を用いて、Gumbel-Softmaxサンプリングを用いてエンドツーエンドのToDエージェントのトレーニングにおけるオフライン強化学習を誘導する。
• トレーニングの安定化のため、カリキュラム学習と勾配クリッピングを採用し、学習された報酬信号下での応答生成モデルの訓練を安定化させる。

Figure 1: Overview of the proposed method. We denote “Accumulated Reward” for the learned accumulated reward, $J(\cdot;\theta)$ for the accumulated reward of each trajectory, $S(\cdot)$ for the combined score of each trajectory, $\ell_{\mathrm{W}}$ for the weighted regularization, $\ell_{\mathrm{DST

実験結果

リサーチクエスチョン

• RQ1 学習による順序付けの目的関数は、タスク指向対話システムにおけるオフライン強化学習の報酬関数の質を向上させることができるか？
• RQ2 スパarsなバイナリゴールベースの報酬と比較して、好みに基づく報酬関数は、下流の対話方策性能においてどのように異なるか？
• RQ3 学習された報酬関数により、エンドツーエンドのToDエージェントが標準ベンチマークで人間の行動を模倣するのではなく、それを上回る性能を達成できるか？
• RQ4 ハイパーパramータの設定（例：軌道長、報酬関数の形式）は、オフラインToD学習において最も安定的かつ効果的なトレーニングをもたらすか？
• RQ5 提案された報酬学習手法は、異なるランダムシードやモデルアーキテクチャに対してどれほど頑健か？

主な発見

• 提案された RewardMLE 法は、MultiWOZ 2.1 ベンチマークで統合得点 107.11 を達成し、CASPI（105.40）や UBAR（105.25）といった先行手法を上回った。
• Gumbel-Softmaxサンプリングを用いた RewardNet は、統合得点 106.62 を達成し、SimpleTOD（92.98）といった強力なベースラインを一貫して上回ることを示した。
• 5つのランダムシードにおける中央値性能を比較した結果、RewardMLE は全指標で CASPI を上回り、中央値の統合得点は 107.74 に対し、CASPI は 105.04 であった。
• アブレーションスタディの結果、好みに基づく報酬学習アプローチは、スパarsな報酬信号よりもトレーニングが安定し、一般化性能が優れていることが確認された。
• 応答生成器として BART-large-cnn をバックボーンに用い、学習された報酬関数と組み合わせることで、未観測の対話シナリオへの強力なゼロショット一般化が可能になった。
• 最良の設定下で、E2E 応答生成タスクにおいても最先端の結果を達成し、成功率 83.90%、BLEU スコア 18.73 を記録した。

(a) RewardNet