[論文レビュー] Batch Policy Gradient Methods for Improving Neural Conversation Models

Kirthevasan Kandasamy, Yoram Bachrach+3 more|arXiv (Cornell University)|Feb 10, 2017

Topic Modeling被引用数 7

ひとこと要約

本論文では、ノイズが多く、高コストな人間によるラベル付き報酬を用いて、ニューラル会話モデルを改善するためのオフポリシーでバッチ処理可能な強化学習手法であるBatch Policy Gradient（BPG）を提案する。無ラベル会話データを用いた事前学習と、ラベル付きデータに対するポリシー勾配更新を組み合わせることで、レストランレコメンデーションデータセットにおいて応答品質が顕著に向上し、Amazon Mechanical Turkによる評価でも統計的に有意な向上が得られた。

ABSTRACT

We study reinforcement learning of chatbots with recurrent neural network architectures when the rewards are noisy and expensive to obtain. For instance, a chatbot used in automated customer service support can be scored by quality assurance agents, but this process can be expensive, time consuming and noisy. Previous reinforcement learning work for natural language processing uses on-policy updates and/or is designed for on-line learning settings. We demonstrate empirically that such strategies are not appropriate for this setting and develop an off-policy batch policy gradient method (BPG). We demonstrate the efficacy of our method via a series of synthetic experiments and an Amazon Mechanical Turk experiment on a restaurant recommendations dataset.

研究の動機と目的

• 顧客サービス環境において、限られたノイズの多い人間によるラベル付き報酬を用いてニューラル会話モデルを訓練するという課題に対処すること。
• 環境とのインタラクションが不可能な状況下で、オフラインでバッチ学習に適した強化学習手法を開発すること。
• 最大尤度による事前学習済みボットを、人間によるスコア評価という弱い教師信号を用いて改善することで、応答品質を向上させること。
• ポリシー反復フレームワーク内で、無ラベル会話データとラベル付き報酬データを効率的に活用すること。
• 低データ・高ノイズ環境において、オフポリシーのバッチポリシー勾配手法が、オンポリシーおよびオンラインRLアプローチを上回ることを示すこと。

提案手法

• 最大尤度に基づいて、無ラベル会話データを用いてシーケンス・ツー・シーケンスRNNポリシーを事前学習する。
• 履歴トラジェクトリを複数の行動ポリシーから得て、オフポリシー更新を実行するバッチポリシー勾配（BPG）アルゴリズムを適用する。
• オフポリシー更新における行動ポリシーとターゲットポリシー間の分布シフトを補正するために、重要度サンプリングを用いる。
• トレーニングの安定化のため、時系列差分（GTD(λ)）または定数推定器を用いて価値関数$\widehat{V}$を推定する。
• バッチデータ内の全履歴の行動と報酬を用いて正確なポリシー勾配を計算することで、収束を高速化する。
• 事前学習とポリシー反復を組み合わせ、より意味的で多様な会話の展開を促進する。

実験結果

リサーチクエスチョン

• RQ1 報酬がノイズが多く、取得に高コストな状況下でも、オフポリシーのバッチポリシー勾配手法がニューラル会話モデルの改善に有効に機能するか。
• RQ2 無ラベルデータによる事前学習と、バッチ処理されたラベル付きデータによるポリシー最適化を組み合わせることで、オンポリシーまたはオンラインRLと比較して性能が向上するか。
• RQ3 BPGは、応答品質と統計的有意性の観点から、最大尤度微調整や他のベースライン手法と比べてどのように差をつけるか。
• RQ4 重要度サンプリングと価値関数推定は、会話システムにおけるバッチRLのサンプル効率と安定性をどの程度向上させるか。
• RQ5 BPGは、最大尤度モデルがオープンドメイン会話で一般的な応答や役に立たない応答を生成する傾向を克服できるか。

主な発見

• BPG微調整後、Bot-2の応答品質は統計的に有意に向上した。対応t検定のp値は0.00007、ウィルコクソン符号順位検定のp値は0.00017であった。
• Bot-1についてもウィルコクソン符号順位検定では有意な向上（p = 0.07930）を示したが、t検定のp値（0.10296）は有意でなかった。これは、Amazon Mechanical Turkにおけるラベルノイズの影響による可能性が高い。
• Bot-2の平均人間ラベルスコアは、BPG適用後、0.7009から0.7317に上昇し、相対的な改善率は約4.4％であった。
• 「検索してみます」や「少々お待ちください」などの一般的な応答が減少し、より文脈に即した、タスク指向の返答が促進された。
• 無ラベルデータによる事前学習と、バッチ処理されたラベル付きデータによるポリシー更新を組み合わせることで、限られた教師信号の下でも効果的なポリシー改善が達成された。
• 結果として、BPGが最大尤度微調整を上回り、現実のカスタマーサービス応用で一般的な低データ・高ノイズ環境において有効であることが示された。