[論文レビュー] Theory of Deep Q-Learning: A Dynamical Systems Perspective.

Arunselvan Ramaswamy|arXiv (Cornell University)|Aug 25, 2020

Reinforcement Learning in Robotics参考文献 17被引用数 7

ひとこと要約

本稿では、現実的で検証可能な仮定の下でDeep Q-Learningの訓練を分析するための動的システム枠組みを提示する。訓練を測度過程としてモデル化し、その極限が長期的性能を決定する。経験再生の利点や訓練の一貫性の欠如といった実験的現象は、この測度過程の収束を通じてアルゴリズムの挙動を特徴付けることで説明され、複数の定常分布を有するマルコフ過程に一般化可能な理論を提供する。

ABSTRACT

Deep Q-Learning is an important algorithm, used to solve sequential decision making problems. It involves training a Deep Neural Network, called a Deep Q-Network (DQN), to approximate a function associated with optimal decision making, the Q-function. Although wildly successful in laboratory conditions, serious gaps between theory and practice prevent its use in the real-world. In this paper, we present a comprehensive analysis of the popular and practical version of the algorithm, under realistic verifiable assumptions. An important contribution is the characterization of its performance as a function of training. To do this, we view the algorithm as an evolving dynamical system. This facilitates associating a closely-related measure process with training. Then, the long-term behavior of Deep Q-Learning is determined by the limit of the aforementioned measure process. Empirical inferences, such as the qualitative advantage of using experience replay, and performance inconsistencies even after training, are explained using our analysis. Also, our theory is general and accommodates state Markov processes with multiple stationary distributions.

研究の動機と目的

• 現実的で検証可能な仮定の下でDeep Q-Learningの訓練ダイナミクスを分析することにより、理論と実践のギャップを埋めること。
• 経験再生の性能優位性や、訓練後における性能の一貫性の欠如といった、持続的な実験的現象を説明すること。
• 複数の定常分布を有するマルコフ意思決定過程に一般化可能な理論的枠組みを構築すること。
• 訓練中に関連する測度過程の極限を研究することにより、Deep Q-Learningの長期的挙動を特徴付けること。

提案手法

• Deep Q-Learningを進化する動的システムとしてモデル化し、訓練中に状態と行動の分布の変化を追跡する。
• 学習軌道の時間的統計的挙動を捉える、密接に関連する測度過程を導入する。
• この測度過程の極限を分析することでアルゴリズムの長期的挙動を研究し、Q関数近似の収束と関連付ける。
• 測度過程を用いて、経験再生がなぜ性能を向上させるかを説明する。具体的には、訓練データの分布を安定化させることで説明する。
• 基礎となるマルコフ過程に複数の定常分布が存在する状況でも、アルゴリズムが収束する理論的条件を確立する。
• 確率過程および動的システム理論の道具を用いて、訓練ダイナミクスと最終的性能の間の関係を形式化する。

実験結果

リサーチクエスチョン

• RQ1 Deep Q-Learningの長期的性能は、訓練プロセスの進化にどのように依存するか？
• RQ2 なぜ経験再生は実際の応用において一貫して性能を向上させるのか？ これは理論的に説明可能か？
• RQ3 なぜDeep Q-Learningでは、長時間にわたる訓練後でさえ性能の一貫性の欠如が観察されるのか？
• RQ4 Deep Q-Learningの理論的分析を、複数の定常分布を有するマルコフ過程にまで拡張可能か？
• RQ5 測度過程を用いて、Deep Q-Learningの訓練ダイナミクスを形式化し、収束行動を予測する方法は何か？

主な発見

• Deep Q-Learningの長期的挙動は、訓練中に状態と行動の分布を追跡する関連する測度過程の極限によって決定される。
• 理論的枠組みは、経験再生の定性的な利点を説明する。具体的には、訓練分布を安定化させることで収束がより予測可能になることを示している。
• 訓練後における性能の一貫性の欠如は、測度過程の非一意な極限によって説明され、複数の可能な収束状態が存在することを示している。
• この理論は、複数の定常分布を有する状態のマルコフ過程を扱えるよう拡張されており、従来の解析が一意な定常挙動を仮定していたのを拡張している。
• 訓練ダイナミクスと最終的ポリシー品質の間の正式な関係を提供し、アルゴリズムの安定性と収束性を評価する原理的根拠を提示している。