[論文レビュー] Reinforcement Learning with Dynamic Boltzmann Softmax Updates

Ling Pan, Qingpeng Cai+4 more|arXiv (Cornell University)|Mar 14, 2019

Reinforcement Learning in Robotics参考文献 20被引用数 4

ひとこと要約

本稿では、逆温度パラメータβを時間的に変化させ、状態に依存しないようにすることで、価値関数推定における収束問題を解消するための動的ボルツマンソフトマックス（DBS）演算子を提案する。DBSは価値反復とQ学習における収束を保証し、DBS-DQNは49種類のAtariゲームのうち40種類でDQNを上回り、安定性と性能の向上を示した。

ABSTRACT

Value function estimation is an important task in reinforcement learning, i.e., prediction. The Boltzmann softmax operator is a natural value estimator and can provide several benefits. However, it does not satisfy the non-expansion property, and its direct use may fail to converge even in value iteration. In this paper, we propose to update the value function with dynamic Boltzmann softmax (DBS) operator, which has good convergence property in the setting of planning and learning. Experimental results on GridWorld show that the DBS operator enables better estimation of the value function, which rectifies the convergence issue of the softmax operator. Finally, we propose the DBS-DQN algorithm by applying dynamic Boltzmann softmax updates in deep Q-network, which outperforms DQN substantially in 40 out of 49 Atari games.

研究の動機と目的

• 固定βのボルツマンソフトマックスが非拡張性を満たさないため、標準的なボルツマンソフトマックスに収束の欠如が生じる問題を解消すること。
• 収束を保証しながら、探索と活用のバランスを維持する価値関数更新メカニズムの開発。
• 特に深層Qネットワークを対象として、表形式および深層強化学習の両設定に適用可能な手法の設計。
• 過大評価と勾配ノイズの低減により、DQNおよびソフトQ学習を上回る性能を達成すること。
• ハイパーパrameterチューニングを必要とせず、ダブルQ学習と互換性を持つことを保証すること。

提案手法

• 時間的に変化するβパラメータを有する動的ボルツマンソフトマックス（DBS）演算子を提案し、βが時間とともに増加するように設計することで収束を保証する。
• βt → ∞ が価値反復における収束に十分であることを証明し、固定βのソフトマックスが非収束を引き起こす問題を是正する。
• 先行研究と比較して、固定パラメータのソフトマックス演算子に対してよりタイトな誤差バインディングを確立する。
• DBSをQ学習に拡張し、DBS-Q学習アルゴリズムの収束を証明する。
• 高次元状態空間における関数近似を用いて、DBSを深層Qネットワークに統合するDBS-DQNを実装する。
• ベルマン最適性を保ちつつ、過大評価を低減し、直接的に方策を表現できるようにDBS演算子を適用する。

実験結果

リサーチクエスチョン

• RQ1 時間的に変化するボルツマンソフトマックス演算子は、固定βのソフトマックスが失敗する価値関数推定において収束を保証できるか？
• RQ2 DBS演算子は、GridWorldのような表形式環境における価値関数推定の精度と安定性を向上させるか？
• RQ3 DBS-DQNは、多様なAtari 2600ゲームにおいてDQNを上回る性能を達成できるか？
• RQ4 DBS演算子は過大評価低減やダブルQ学習との互換性といった望ましい性質を維持するか？
• RQ5 DBS手法はハイパーパrameterチューニングを必要とせず、ロバストかつ効果的か？

主な発見

• β = t² を用いたDBS-Q学習は、GridWorldでQ学習およびソフトQ学習を上回る最良の性能を達成した。
• 時間的に変化するβにより非拡張性を満たすことで、DBS演算子は価値反復およびQ学習における収束を保証する。
• Atariゲームの49種類中40種類でDBS-DQNはDQNを上回り、アトラスティス、ロードランナー、ビデオピンボールなど、特に顕著な改善が見られた。
• Atariのスイートにおいて、DBS-DQNはDQNと比較してアトラスティスで最大3,768,100.0の相対的ヒューマン正規化スコア向上を達成した。
• 先行研究の固定パラメータソフトマックスに対する誤差バインディングよりも、DBS演算子はよりタイトな誤差バインディングを達成し、理論的保証を向上させた。
• DBS-DQNは、他のソフトマックスベース手法とは異なり、追加のハイパーパrameterチューニングを必要とせず、強力な性能を維持した。