[論文レビュー] Towards End-to-End Learning for Dialog State Tracking and Management using Deep Reinforcement Learning

Tiancheng Zhao, Maxine Eskénazi|arXiv (Cornell University)|Jun 8, 2016

Speech and dialogue systems参考文献 26被引用数 131

ひとこと要約

この論文は、データベースと連携する Deep Recurrent Q-Network を用いたタスク指向対話のエンドツーエンドフレームワークを提示し、強化学習と教師あり学習を組み合わせたハイブリッドRL手法を導入して学習を加速し、20Qゲームで評価した。

ABSTRACT

This paper presents an end-to-end framework for task-oriented dialog systems using a variant of Deep Recurrent Q-Networks (DRQN). The model is able to interface with a relational database and jointly learn policies for both language understanding and dialog strategy. Moreover, we propose a hybrid algorithm that combines the strength of reinforcement learning and supervised learning to achieve faster learning speed. We evaluated the proposed model on a 20 Question Game conversational game simulator. Results show that the proposed method outperforms the modular-based baseline and learns a distributed representation of the latent dialog state.

研究の動機と目的

• モジュール型のNLU、DST、対話ポリシーを、タスク指向対話のための単一のエンドツーエンド学習可能モジュールに置換する動機付け。
• 強化学習フレームワーク内で、シンボリックなクエリ風のアクションを介して構造化データベースとの相互作用を可能にする。
• 状態追跡と対話ポリシーを共同で学習し、エンドツーエンドの性能とデータ効率を向上させる。
• DSTラベルが弱い場合でも、利用可能な場合はラベル付きデータを活用して学習を加速しつつ、DSTラベルが弱いまたは存在しない場合でも機能する。

提案手法

• LSTMベースの状態トラッカーを用いたDeep Recurrent Q-Networks (DRQN) の一種を使用し、対話履歴を信念様の状態へ蓄積する。
• データベースとの相互作用を、クエリ仮説を修正しデータベース観測と報酬を返す特別なアクションとして表現する。
• 言語的アクション用の1つと、他のスロット埋めアクション用の複数のポリシーネットワークを実装し、共通のLSTM由来の状態表現を共有する。
• 状態追跡ラベルが利用可能なときに監視信号を組み込むハイブリッドRL手法を導入して学習を加速する。
• サンプル効率とポリシー指針を改善するために報酬整形と制約付きアクションマスキングを適用する。
• 既知のデータベースダイナミクスから合成体験を生成して学習を加速する（Dyna風のアイデア）。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのRLが対話状態追跡と対話ポリシーを共同で学習し、モジュールベースのベースラインを上回ることができるか？
• RQ2 シンボリックなアクションを介してデータベースとインターフェースすることは、エンドツーエンドの学習と情報アクセスを改善するか？
• RQ3 監視信号を統合して学習を加速しつつ、エンドツーエンド最適化を犠牲にしないか？
• RQ4 学習された対話状態表現は意味を持ち、ターン間の計画を支えることができるか？

主な発見

モデル	勝率（％）	平均ターン
Baseline	68.5	12.2
RL	85.6	21.6
Hybrid-RL	90.5	19.22

• エンドツーエンドモデルは、20Qで勝率とインタラクション効率の点でモジュール化ベースラインを上回る。
• ベースライン：68.5% 勝率、平均 12.2 ターン；RL：85.6% 勝率、21.6 ターン；Hybrid-RL：90.5% 勝率、19.22 ターン。
• RLおよびHybrid-RLはRL単独より速く収束し、より高い性能を達成する。Hybrid-RLは探索と状態追跡信号のバランスを取る。
• RLアプローチは、異なる高精度の状態追跡挙動を生み出し、誤った確定ラベルを避けるために未知を推定することが多い。
• 学習済みの対話状態（LSTM出力）は真の潜在対話状態と相関し、推定の回数のような側面を再構成するのに用いることができる。
• 本研究は、エンドツーエンドの信念状態様表現が共同最適化から生じ、真の対話状態を近似できることを確認する。