[論文レビュー] Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinforcement Learning

Gregory Farquhar, Shimon Whiteson+1 more|arXiv (Cornell University)|Sep 23, 2019

Reinforcement Learning in Robotics参考文献 17被引用数 4

ひとこと要約

本稿では、制御可能なバイアス-バリアンストレードオフを備えた強化学習における任意の順序の微分を推定するための新しい目的関数、Loaded DiCEを提案する。任意のアドバンテージ推定器と遠く離れた因果的依存関係に対する割引メカニズムを組み合わせることで、自動微分を用いた低分散かつ不偏な高階微分推定を可能にし、メタ強化学習および複雑な逐次意思決定タスクにおいて顕著な性能向上を達成する。

ABSTRACT

Gradient-based methods for optimisation of objectives in stochastic settings with unknown or intractable dynamics require estimators of derivatives. We derive an objective that, under automatic differentiation, produces low-variance unbiased estimators of derivatives at any order. Our objective is compatible with arbitrary advantage estimators, which allows the control of the bias and variance of any-order derivatives when using function approximation. Furthermore, we propose a method to trade off bias and variance of higher order derivatives by discounting the impact of more distant causal dependencies. We demonstrate the correctness and utility of our objective in analytically tractable MDPs and in meta-reinforcement-learning for continuous control.

研究の動機と目的

• 強化学習および逐次的意思決定における高分散かつバイアスのある高階微分推定器の課題に対処すること。
• 価値関数などの任意のアドバンテージ推定器（例：価値関数）を用いて、任意の順序の微分におけるバイアスとバリアンスを制御すること。
• マルコフ構造を有する確率的計算グラフにおいて高階微分推定を可能にする、自動微分と完全に互換性のある単一の微分可能な目的関数を提供すること。
• 遠く離れた依存関係の影響を軽減するための新たな因果的割引メカニズムを導入し、高階微分におけるバイアスとバリアンスに対するさらなる制御を可能にすること。
• 解析的に扱えるMDPとメタ強化学習環境において、本手法の実証的妥当性を検証し、訓練の安定性と性能の向上を示すこと。

提案手法

• 本稿では、マルコフ確率的計算グラフにおける任意の順序微分の正しい推定器を、複数回微分することで得られる代替目的関数を導出する。
• 目的関数は、任意のアドバンテージ推定器（例：価値関数）を勾配推定プロセスに統合しており、既知の1階微分におけるバイアス-バリアンストレードオフが高階微分に拡張可能であることを可能にする。
• ハイパーパrameter λ を用いた新しい因果的割引メカニズムを導入し、高階微分計算におけるより遠く離れた因果的依存関係の影響を低減する。
• ハイパーパrameter τ を用いて、モンテカルロサンプルと価値関数推定の相対的重みを制御し、明示的なバイアス-バリアンストレードオフを実現する。
• フレームワークは自動微分と完全に互換性があり、既存のコードベースに高階微分を追加する場合、わずか数行の追加コードで実装可能である。
• DiCE目的関数を高階微分をサポートするように一般化しつつ、理論的正確性と実用性を維持する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ構造を有する確率的計算グラフにおいて、任意の順序微分の低分散かつ不偏な推定を可能にする単一の目的関数を導出できるか？
• RQ2 任意のアドバンテージ推定器を高階微分推定に統合することで、バイアスとバリアンスをどの程度制御できるか？
• RQ3 ハイパーパrameter λ を用いた因果的割引は、高階微分におけるバイアス-バリアンストレードオフにどのように影響するか？
• RQ4 提案手法は、メタ強化学習および連続的制御タスクにおける訓練の安定性と性能を向上させることができるか？
• RQ5 ハイパーパrameter τ と λ は、実世界の強化学習応用における収束性と最終的パフォーマンスにどのような影響を与えるか？

主な発見

• 解析的解が得られる小さなランダムMDPにおいて、完璧な価値関数を用いた場合、Loaded DiCEは不偏かつ低分散な高階微分推定を実現する。
• ハイパーパrameter τ と λ は、高階微分推定におけるバイアスとバリアンスの有効で柔軟なトレードオフを可能にし、τ はモンテカルロ推定と価値ベース推定のバランスを制御する。
• CheetahDir および CheetahVel タスクにおけるメタ強化学習において、非ゼロの λ（例：λ=0.5）は、不偏な λ=1.0 のバージョンよりも高速に学習を進めるが、両者とも同程度の最終的パフォーマンスに収束する。
• 短いホライズンタスクでは、高めの τ 値は分散を増加させ、パフォーマンスを劣化させる傾向にあり、τ は報酬の分散と価値関数の品質に基づいて調整する必要がある。
• 本手法はメタ強化学習において顕著な影響を示し、高階推定器のバイアスとバリアンスを制御できることは、訓練効率と最終ポリシーのパフォーマンス向上に明確な寄与をもたらす。
• フレームワークはわずか数行のコード追加で実装可能であり、既存の高階強化学習コードベースへの迅速な導入が可能である。