[論文レビュー] Temporal Regularization in Markov Decision Process

Pierre Thodoroff, Audrey Durand+2 more|arXiv (Cornell University)|Nov 1, 2018

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

この論文は、時間的平滑性を価値推定に組み込むことで、分散を低減し学習の安定性を向上させる時間的正則化を導入する。過去の状態価値を指数的減衰重み付き平均で組み込むことで、ノイズが多いまたは誤って指定された状態表現に対しても耐性を高め、深層関数近似を用いた場合でもアタリゲームで優れた性能を示す。

ABSTRACT

Several applications of Reinforcement Learning suffer from instability due to high variance. This is especially prevalent in high dimensional domains. Regularization is a commonly used technique in machine learning to reduce variance, at the cost of introducing some bias. Most existing regularization techniques focus on spatial (perceptual) regularization. Yet in reinforcement learning, due to the nature of the Bellman equation, there is an opportunity to also exploit temporal regularization based on smoothness in value estimates over trajectories. This paper explores a class of methods for temporal regularization. We formally characterize the bias induced by this technique using Markov chain concepts. We illustrate the various characteristics of temporal regularization via a sequence of simple discrete and continuous MDPs, and show that the technique provides improvement even in high-dimensional Atari games.

研究の動機と目的

• 高次元的かつノイズの多い環境下での強化学習における高い分散を軽減すること。
• 空間的正則化とは補完的な手法として、価値関数推定における時間的正則化の可能性を検討すること。
• マコフ連鎖理論を用いて時間的正則化が引き起こすバイアスを形式的に特徴づけること。
• 時間的正則化が誤って指定されたまたはノイズの多い状態特徴に対してどれほど耐性を示すかを評価すること。
• 離散的および連続的MDP、特にアタリ環境を含む設定において、時間的正則化の有効性を示すこと。

提案手法

• 現在の価値と過去の状態価値の重み付き平均を用いて、指数的減衰を用いた時間的正則化価値関数推定を提案する。
• 正則化された価値を $ v_{\text{reg}}(s_t) = v(s_t) + \lambda \widetilde{v}(s_{t-1}) $ と定義する。ここで $ \widetilde{v}(s_{t-1}) $ は、過去の価値推定の指数的減衰和である。
• 詳細バランスや逆遷移連鎖といったマコフ連鎖の概念を用いて、正則化推定のバイアスおよび収束特性を分析する。
• 方策評価および制御の両設定にこの手法を適用し、フレームスタック状態表現を用いたPPOを介して深層強化学習に拡張する。
• 特に深層学習の実験においてバイアスを低減するため、正則化強度 $ \beta $ に時間経過に伴うスケジューリングを導入する。
• 正規化された性能指標（式 (12)）を用いて、離散的MDP、連続的MDP、およびアタリ学習環境でこの手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 時間的正則化により、時間的平滑性を強制することで、価値関数推定の分散を低減できるか？
• RQ2 時間的正則化はMDPにおけるバイアスと収束にどのように影響を与えるか？また、マコフ連鎖理論を用いてこれを形式的に特徴づけられるか？
• RQ3 ノイズの多いまたは誤って指定された状態特徴がある環境下でも、時間的正則化はサンプル効率および耐性を向上させるか？
• RQ4 空間的正則化やマルチステップ手法と比較して、時間的正則化は性能および安定性において優れているか？
• RQ5 フレームスタック状態表現を用いたアタリゲームのような深層強化学習の設定でも、時間的正則化は学習を向上させられるか？

主な発見

• 時間的正則化は、式 (12) に示される正規化指標を用いて測定した複数のアタリゲームで顕著な性能向上を示し、より高いサンプル効率と安定性を示している。
• 深層ニューラルネットワークを用いた関数近似でも、離散的および連続的MDPの両方で推定誤差と分散が低減されている。
• 時間的正則化はノイズの多いまたは誤って指定された状態特徴に対しても耐性を示し、状態表現が不完全な環境ではベースライン手法を上回る性能を示している。
• 10個の異なる乱数シードと7つのゲームにおいて一貫した性能向上が得られており、ハイパーパrameterとして $ \beta = \lambda = 0.2 $ および減衰率 $ 1\times10^{-5} $ が検証を経て選択された。
• 正則化により最適価値関数が滑らかになることが示され、高次元設定における収束の高速化および一般化性能の向上を説明できる可能性がある。
• 正則化強度を時間経過に伴い減衰させることで、誘導されるバイアスが軽減されることから、長期的な学習において実用的な戦略であると示唆される。