[論文レビュー] Shallow Updates for Deep Reinforcement Learning

Nir Levine, Tom Zahavy+3 more|arXiv (Cornell University)|May 21, 2017

Reinforcement Learning in Robotics参考文献 30被引用数 10

ひとこと要約

本稿では、バッチ最小二乗更新とベイジアン正則化を用いて、経験リプレイデータに基づき、深層Qネットワークの最終層を定期的に再訓練する、LS-DQNと呼ばれるハイブリッド深層強化学習手法を提案する。この手法は、大規模バッチLS最適化を活用することで、標準DQNおよびDouble-DQNよりも顕著な性能向上を達成しており、主な改善要因は最終層における大規模バッチ更新の安定性とデータ効率性に起因する。

ABSTRACT

Deep reinforcement learning (DRL) methods such as the Deep Q-Network (DQN) have achieved state-of-the-art results in a variety of challenging, high-dimensional domains. This success is mainly attributed to the power of deep neural networks to learn rich domain representations for approximating the value function or policy. Batch reinforcement learning methods with linear representations, on the other hand, are more stable and require less hyper parameter tuning. Yet, substantial feature engineering is necessary to achieve good results. In this work we propose a hybrid approach -- the Least Squares Deep Q-Network (LS-DQN), which combines rich feature representations learned by a DRL algorithm with the stability of a linear least squares method. We do this by periodically re-training the last hidden layer of a DRL network with a batch least squares update. Key to our approach is a Bayesian regularization term for the least squares update, which prevents over-fitting to the more recent data. We tested LS-DQN on five Atari games and demonstrate significant improvement over vanilla DQN and Double-DQN. We also investigated the reasons for the superior performance of our method. Interestingly, we found that the performance improvement can be attributed to the large batch size used by the LS method when optimizing the last layer.

研究の動機と目的

• オンライン深層Q学習の不安定さとハイパーパrameterへの感受性を軽減するため、安定したバッチ手法を統合する。
• 特徴工学の経験が豊富な浅いRL手法の限界を克服するため、特徴表現に深層ネットワークを活用する。
• 深層ネットワークの表現力の高い特徴抽出能力と、最小二乗時系列差分法のデータ効率性と安定性を組み合わせたハイブリッドフレームワークを開発する。
• 一般的に大規模バッチは一般化性能を低下させるという認識がある中で、深層RLにおける最終層に大規模バッチ最小二乗更新を適用することで性能向上が達成できるかを検証する。

提案手法

• 畳み込み層および全結合層を備えた深層Qネットワークを用いて、豊富な状態表現を抽出する。
• オンラインDRL学習中に収集した経験リプレイデータに基づき、バッチ最小二乗（LS）更新を用いて、最終全結合層のみを定期的に再訓練する。
• LS更新にベイジアン正則化項を適用し、現在のDRL方策重みを事前分布として用いて、最近のデータへの過学習を防ぐ。
• ネットワークの下位層は事前に学習済みのまま維持し、学習済みの特徴を保持しつつ、最終層のみをLSで最適化する。
• オンラインDQN更新と定期的な最終層LS更新を交互に実行することで、小規模バッチオンライン学習と大規模バッチバッチ学習を効果的に統合する。
• 大規模バッチLS最適化を可能にするために、大容量の経験リプレイバッファを維持し、安定性と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層表現学習とバッチ最小二乗RLを組み合わせることで、標準DQNと比較してアタリゲームにおける性能が向上するか？
• RQ2 深層ネットワークの最終層に大規模バッチLS更新を適用することで、小規模バッチオンライン更新に比べ、より良い一般化性能と安定性が得られるか？
• RQ3 深層RL設定における最終層LS更新の過程で、ベイジアン正則化項が過学習を防止する役割を果たす具体的な役割は何か？
• RQ4 ハイブリッドLS-DQN手法が標準DQNおよびDouble-DQNを上回る理由は何か？具体的にはどのコンponentがこの改善を主に駆動しているか？
• RQ5 LS更新による性能向上は、関数近似器の選択や正則化の有無ではなく、主に大規模バッチサイズに起因するのか？

主な発見

• LS-DQNは、5つのアタリゲームにおいて、アンロックされたDQNおよびDouble-DQNと比較して顕著な性能向上を達成しており、人間正規化スコアにおいて一貫した向上を示した。
• 性能向上の主な要因は、最終層における大規模バッチ最小二乗更新であり、ベイジアン正則化やハイブリッドアーキテクチャ自体の影響ではない。
• LS更新に用いられた大規模バッチサイズにより、標準DQNにおける小規模バッチSGDと比較して、より安定的かつ一般化可能な重み更新が実現された。
• この手法は、深層ネットワークの表現力ある特徴表現を維持しつつ、LSに基づくバッチ手法のデータ効率性と収束保証の利点も得られた。
• ベイジアン正則化項は、LS更新中に最近の経験への過学習を効果的に防止し、より高い耐障害性を実現した。
• DRLおよびSRL手法の異なる組み合わせに対しても結果が一貫しており、このハイブリッドアプローチの一般化可能性が示された。