[論文レビュー] Separating value functions across time-scales

Joshua Romoff, Peter Henderson+4 more|arXiv (Cornell University)|Feb 5, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文では、連続する割引率における価値関数の差分を表す成分に価値関数を分解する、TD(Δ)と呼ばれる新しい時系列差分学習手法を提案する。これらのデルタ推定器を独立に学習させることで、アタリのような密度の高い報酬環境において学習の安定性と性能が向上し、追加のハイパーパrameterチューニングを除き、デフォルト設定を超えて調整が不要な状態で、収束が速く、より良い報酬が得られる。

ABSTRACT

In many finite horizon episodic reinforcement learning (RL) settings, it is desirable to optimize for the undiscounted return - in settings like Atari, for instance, the goal is to collect the most points while staying alive in the long run. Yet, it may be difficult (or even intractable) mathematically to learn with this target. As such, temporal discounting is often applied to optimize over a shorter effective planning horizon. This comes at the risk of potentially biasing the optimization target away from the undiscounted goal. In settings where this bias is unacceptable - where the system must optimize for longer horizons at higher discounts - the target of the value function approximator may increase in variance leading to difficulties in learning. We present an extension of temporal difference (TD) learning, which we call TD($Δ$), that breaks down a value function into a series of components based on the differences between value functions with smaller discount factors. The separation of a longer horizon value function into these components has useful properties in scalability and performance. We discuss these properties and show theoretic and empirical improvements over standard TD learning in certain settings.

研究の動機と目的

• 固定の割引率によるバイアスを回避しつつ、長期間の未割引報酬を最適化する課題に対処すること。
• 報酬密度の高い環境（例：アタリ）において、標準的なTD学習が高い分散により苦労する状況において、学習の安定性と収束速度を向上させること。
• 時間スケールに特化した成分に価値関数を分解することで、スケーラブルでモジュール式の学習を可能にすること。
• 異なる時間スケールにおける価値関数成分の解釈可能性を提供する手法を提供すること。
• 標準的なTD学習の即時置換可能であり、成分ごとのハイパーパrameterチューニングによって性能を向上させること。

提案手法

• TD(Δ)は、価値関数 VγZ を、各 Wz = Vγz − Vγz−1 として、連続する割引率 γz における差分推定器の系列に分解する。各 Wz は、新しい時間スケールを追加した際のインクリメンタルな価値を表す。
• 各デルタ推定器 Wz は、より短い時間スケールの Ws に基づくベルマンに類似した方程式を満たし、各成分を独立に学習可能である。
• 割引率のシーケンス γz を、z が 0 から Z まで増加するように設定し、通常は有効な時間枠を倍加させる形（例：γz = 0.5^z）で設定される。
• 最終的な価値関数は、すべての Wz 成分の和として再構築され、最大の時間枠 γZ における元の割引報酬を保持する。
• 各成分ごとに、学習率や報酬推定（例：kステップ報酬）などの細かめのハイパーパrameterチューニングが可能で、収束性が向上する。
• TD(Δ)は、TD(λ) や一般化されたアドバンテージ推定（GAE）といった既存のTDベースのアルゴリズムと互換性があり、既存のRLパイプラインへの統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 時間スケールに特化した成分に価値関数を分解することで、密度の高い報酬環境における学習パフォーマンスが向上するか？
• RQ2 独立して各デルタ推定器 Wz を学習させることで、標準的なTD学習と比較して収束が速くなり、分散が低減するか？
• RQ3 この分解によって、異なる時間スケールにおけるポリシー行動の解釈可能性が向上するか？
• RQ4 デフォルトの γz 値のシーケンス（例：有効な時間枠を倍加）を用いることで、最小限のハイパーパrameterチューニングでどれほどパフォーマンス向上が達成できるか？
• RQ5 TD(Δ)は、学習中に部分的な結果がいつでも利用可能となるような「いつでも利用可能」アルゴリズムとして使用可能か？

主な発見

• TD(Δ)は、密度の高い報酬環境（アタリ）において、標準的なTD学習を常に上回るパフォーマンスを達成し、特に各デルタ推定器にkステップ報酬を使用した場合に顕著である。
• この手法により、短い時間スケールの成分の収束が速くなり、それが長い時間スケールの成分の学習をブートストラップすることで、全体の学習効率が向上する。
• デフォルトの γz 値のシーケンス（例：有効な時間枠を倍加）を用いることで、テストされた大多数のアタリゲームでパフォーマンス向上が得られ、追加のチューニングが不要である。
• この分解により、個々の Wz 成分を分析することで、トレーライト内での密度の高い報酬がいつ、どのように達成されたかを理解できるようになり、ポリシー行動の解釈が可能になる。
• TD(Δ)は、各成分ごとに適応的なハイパーパラメータチューニングが可能であり、γz、kz、λz の値を的確に調整することで、さらなるパフォーマンス向上が可能である。
• この手法は、TD(λ) および GAE と互換性があり、実験的結果から、標準的なRLベンチマークにおいて、より高いサンプル効率と報酬が得られることを示している。