[論文レビュー] Reward Shaping with Recurrent Neural Networks for Speeding up On-Line Policy Learning in Spoken Dialogue Systems

Pei-Hao Su, David Vandyke+4 more|arXiv (Cornell University)|Aug 14, 2015

Speech and dialogue systems参考文献 22被引用数 24

ひとこと要約

本稿では、スプokenダイアログシステムにおけるオンライン政策学習の高速化を目的として、シミュレーテッドユーザーインタラクションから会話レベルの報酬形状信号を学習するためのゲート付き再帰的ニューラルネットワーク（GRUs）の使用を提案する。ユーザーの目的に関する事前知識が不要である。RNNベースの形状信号は、シミュレーテッド環境および実ユーザ環境の両方で、報酬形状の手作業による設計とベースライン手法を上回る性能を示し、政策収束を著しく加速する。

ABSTRACT

Statistical spoken dialogue systems have the attractive property of being able to be optimised from data via interactions with real users. However in the reinforcement learning paradigm the dialogue manager (agent) often requires significant time to explore the state-action space to learn to behave in a desirable manner. This is a critical issue when the system is trained on-line with real users where learning costs are expensive. Reward shaping is one promising technique for addressing these concerns. Here we examine three recurrent neural network (RNN) approaches for providing reward shaping information in addition to the primary (task-orientated) environmental feedback. These RNNs are trained on returns from dialogues generated by a simulated user and attempt to diffuse the overall evaluation of the dialogue back down to the turn level to guide the agent towards good behaviour faster. In both simulated and real user scenarios these RNNs are shown to increase policy learning speed. Importantly, they do not require prior knowledge of the user's goal.

研究の動機と目的

• 環境報酬が疎であることが原因で、スプokenダイアログシステムにおけるオンライン政策学習の収束が遅いという問題に対処すること。
• 最適政策を変更せずに探索を加速できる、情報量の多いターン単位の報酬形状信号を生成する手法を開発すること。
• 報酬形状においてユーザーの目的に関する事前知識を不要とすることで、実ユーザとのリアルタイムでのデプロイを可能にすること。
• RNN（特にGRUs、LSTMs、基本的なRNN）が、形状信号として使用するための会話レベルのリターンを予測する能力を評価すること。
• RNNベースの形状信号が、シミュレーテッドおよび実ユーザのオンライン学習シナリオの両方で学習速度を向上させることを実証すること。

提案手法

• シミュレーテッドユーザーインタラクションからの会話レベルのリターンを用いて、ゲート付き再帰的ニューラルネットワーク（GRU）を訓練し、ターン単位の形状報酬を予測する。
• 予測された形状信号が、連続する信念状態間のポテンシャル関数の差分を近似するよう制約付きの訓練目的を採用し、政策最適性を保持する。
• オンライン政策学習中に、元の環境報酬に加えて、RNNのターン単位の予測値を追加の報酬信号として適用する。
• 人間によるアノテーションが施された成功／失敗ラベルおよび会話リターンを備えた対話データセットを用いて、教師あり学習でRNNを訓練する。
• 異なる対話長さおよび意味的誤り率を想定した、分離された訓練・検証・テストセットを用いて一般化性能を評価する。
• RNNベースの形状信号を、タスク知識を必要とする手作業による報酬形状手法および、環境報酬のみを用いるベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 RNNは、会話レベルのリターンを効果的に予測し、オンライン政策学習の加速に寄与するターン単位の形状信号を生成できるか？
• RQ2 RNNベースの報酬形状は、ユーザーの目的に関する事前知識を必要とする手作業による形状手法を上回るか？
• RQ3 意味的誤り率の変動や限られた訓練データに対して、RNNベースの形状信号はどれほど頑健か？
• RQ4 実ユーザとのオンライン学習シナリオにおいて、RNNベースの形状信号は政策収束速度を向上させられるか？
• RQ5 1,000件の対話データセットでのみ学習された場合でも、RNNベースの形状信号は有効か？

主な発見

• GRUベースのRNNは、1,000件の対話データのみで学習した場合でも、基本的なRNNと同等の性能を達成しており、データ効率が高く、人間によるアノテーションデータセットへの応用可能性が示された。
• RNNベースの形状信号は、シミュレーテッドユーザ環境において、ベースラインおよび手作業による形状手法を上回り、政策学習の収束を著しく加速した。
• アマゾンMechanical Turk経由で実ユーザとのオンライン学習において、最初の400対話において報酬の改善が著しく速く、明確な学習曲線の優位性を示した。
• 意味的誤り率（0%、15%、30%、45%）の変動に対しても、モデルは良好な一般化性能を示し、現実世界の変動に頑健であることを示した。
• 予測精度および学習速度の面で、GRUモデルは基本的なRNNおよびLSTMをわずかに上回ったが、差は統計的に有意ではなかった。
• 制約付き訓練アプローチにより、形状信号が政策最適性を保持しており、最適行動の意図しない変更を回避した。