[論文レビュー] Uncertainty Estimates for Efficient Neural Network-based Dialogue Policy Optimisation

Christopher Tegho, Paweł Budzianowski+1 more|arXiv (Cornell University)|Nov 30, 2017

Speech and dialogue systems参考文献 16被引用数 8

ひとこと要約

本稿では、効率的な対話ポリシー学習のための不確実性推定を組み込んだベイジアン・ディープQネットワーク（BBQN）を提案し、ドロップアウト、コアドロップアウト、ブートストラップDQN、α-ダイバージェンスなどの手法と比較している。BBQNはε-greedy DQNを上回り、ノイズ下でもサンプル効率と耐性においてGPSARSAと同等の性能を示し、暗黙の正則化により安定的で高精度な学習が可能となった。

ABSTRACT

In statistical dialogue management, the dialogue manager learns a policy that maps a belief state to an action for the system to perform. Efficient exploration is key to successful policy optimisation. Current deep reinforcement learning methods are very promising but rely on epsilon-greedy exploration, thus subjecting the user to a random choice of action during learning. Alternative approaches such as Gaussian Process SARSA (GPSARSA) estimate uncertainties and are sample efficient, leading to better user experience, but on the expense of a greater computational complexity. This paper examines approaches to extract uncertainty estimates from deep Q-networks (DQN) in the context of dialogue management. We perform an extensive benchmark of deep Bayesian methods to extract uncertainty estimates, namely Bayes-By-Backprop, dropout, its concrete variation, bootstrapped ensemble and alpha-divergences, combining it with DQN algorithm.

研究の動機と目的

• ニューラルネットワークベースの対話ポリシー学習におけるサンプル効率の向上を、不確実性推定を組み込むことで図ること。
• 対話管理におけるディープQネットワーク（DQN）における不確実性推定のためのベイジアンディープラーニング手法を評価すること。
• ノイズのあるユーザ入力条件下で、ベイジアン手法とε-greedy DQN、GPSARSAの性能と耐性を比較すること。
• シミュレートされたユーザ入力における意味的ノイズの異なるレベル下で、不確実性に配慮したポリシーの一般化能力を評価すること。
• 計算コストと学習効率のバランスを取れる最も効果的な不確実性推定技術を同定すること。

提案手法

• ネットワーク重みの事後分布を近似するためにBayes-by-Backprop（BBQN）を採用し、不確実性に配慮した行動選択のための確率的推論を可能にした。
• トムソンサンプリングを用い、事後分布からのモンテカルロサンプリングにより行動を選択することで、ε-greedy探索に代わるより効率的な探索を実現した。
• 4つのベイジアン手法（ドロップアウト、コアドロップアウト、ブートストラップDQN、α-ダイバージェンス最小化）をすべてDQNに統合し、比較した。
• 2つの隠れ層（130ユニット、50ユニット）を持つDQNに不確実性推定を適用し、カマブリッジレストランドメインでAdam最適化子を用いて学習した。
• 一般化性能を評価するために、15%の訓練誤差と45%のテスト誤差を持つシミュレートされたユーザを用いてノイズ下での性能を評価した。
• GPSARSAには線形カーネルを適用し、γ = 0.99として25回の対話ターンにおける成功確率を測定した。

実験結果

リサーチクエスチョン

• RQ1 どのベイジアンディープラーニング手法が、対話ポリシー学習における効率的な探索のための不確実性推定において最も効果的か？
• RQ2 不確実性に配慮した探索は、ε-greedy探索と比べてサンプル効率と最終的な性能でどのように異なるか？
• RQ3 ユーザ入力における高い意味的ノイズ下でも、ベイジアンDQN手法はε-greedy DQNよりも一般化性能が優れているか？
• RQ4 BBQNの性能は、クリーンな状態とノイズのある状態の両方で、最先端のGPSARSAアルゴリズムと比べてどうか？
• RQ5 BBQNにおける暗黙の正則化（KLダイバージェンス制約）は、標準的なDQNと比べて学習の安定性を向上させるか？

主な発見

• BBQNはサンプル効率と最終的な成功確率の両面でGPSARSAと同等の性能を示し、ε-greedy DQNや他のベイジアン手法を上回った。
• テスト時に45%の意味的誤り率下でも、BBQNはGPSARSAと同等に高い耐性を示し、成功確率が安定した。一方、ドロップアウトやコアドロップアウトなどの他の手法はε-greedyを改善できなかった。
• 5ヘッドのブートストラップDQNは安定した性能を示したが、ε-greディーを上回ることはできず、ヘッド数のチューニングによっても顕著な向上は得られなかった。
• コアドロップアウトは自動的なドロップアウト確率最適化がなされたが、学習効率の向上にはつながらず、α-ダイバージェンス手法も変分推論を上回る一貫性のある改善は示さなかった。
• モンテカルロサンプル数の増加により勾配の分散が減少したが、収束速度が遅くなったため、安定性と学習速度のトレードオフが生じた。
• BBQNにおけるKLダイバージェンス制約による暗黙の正則化が、ヴァニラDQNと比べてより安定した学習を実現した。