[論文レビュー] Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis

Assaf Hallak, Aviv Tamar+2 more|arXiv (Cornell University)|Sep 17, 2015

Reinforcement Learning in Robotics参考文献 15被引用数 18

ひとこと要約

本稿は、重要度サンプリング比の減衰パラメータβを用いてバイアスと分散を制御する一般化された非政策時系列差分学習フレームワーク、ETD(λ, β)を導入する。ETD(λ, β)の漸近的誤差バウンドを初めて確立し、元のETDアルゴリズムがバイアスを有界に保つことを示し、βの調整により望ましいバイアス-分散トレードオフを実現でき、標準的なETD設定を上回る総誤差の低減が可能であることを示している。

ABSTRACT

We consider the off-policy evaluation problem in Markov decision processes with function approximation. We propose a generalization of the recently introduced \emph{emphatic temporal differences} (ETD) algorithm \citep{SuttonMW15}, which encompasses the original ETD($λ$), as well as several other off-policy evaluation algorithms as special cases. We call this framework \ETD, where our introduced parameter $β$ controls the decay rate of an importance-sampling term. We study conditions under which the projected fixed-point equation underlying \ETD\ involves a contraction operator, allowing us to present the first asymptotic error bounds (bias) for \ETD. Our results show that the original ETD algorithm always involves a contraction operator, and its bias is bounded. Moreover, by controlling $β$, our proposed generalization allows trading-off bias for variance reduction, thereby achieving a lower total error.

研究の動機と目的

• 既存の非政策TDアルゴリズムを、バイアス-分散トレードオフを制御可能な単一のフレームワークで統合すること。
• 関数近似と一般の行動方針-ターゲット方針ペアが存在する非政策時系列差分学習のバイアスを分析すること。
• 強化学習における強調的時系列差分（ETD）アルゴリズムおよびその一般化に対する、初めての漸近的誤差バウンドを確立すること。
• ETD(λ, β)フレームワークが一般条件下で収縮性を維持することを示し、収束性と有界な誤差を保証すること。
• 元のETD（β = γ）が平均二乗誤差の観点で最適でないことが示され、βの調整により総誤差を低減できることを示すこと。

提案手法

• βが更新ルールにおける重要度サンプリング比の減衰率を制御するETD(λ)の一般化であるETD(λ, β)を提案する。
• 行動方針と減衰パラメータβから導かれる状態依存重み行列mを用いた、射影ベルマン作用素を導入する。
• λブートストラップとβ減衰型重要度サンプリングを組み合わせた修正ベルマン作用素T^(λ)を定義し、特定の条件下で収縮性を示す。
• ジェンセンの不等式と行列ノルム解析を用いて、βを適切に選択した場合に作用素Π_m T^(λ)が収縮的であることを証明する。
• 作用素の収縮モジュラスのバウンドを導出し、λが1に近づくにつれてその値が減少することを示し、βとγに依存することを示す。
• 遷移行列P_πの固有値構造を分析し、作用素が収縮的であるための条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 ETD(λ, β)における射影ベルマン作用素が収縮的である条件は何か？ これにより収束性と有界な誤差が保証される。
• RQ2 ETD(λ, β)における減衰パラメータβは、非政策価値関数推定のバイアスと分散にどのように影響するか？
• RQ3 元のETDアルゴリズム（β = γ）が一般の行動方針とターゲット方針に対して有界な漸近的誤差を持つことが示せるか？
• RQ4 バイアスと分散のバランスを最適化することで、総平均二乗誤差を最小化するβの値が存在するか？
• RQ5 ETD(λ, β)フレームワークは、IS-TD、標準TD、ETDといった既知の非政策TD手法をβの変化によって特殊ケースとして統合できるか？

主な発見

• ETD(λ, β)アルゴリズムは、すべてのβ ≥ γに対して収縮性を維持し、収束性と有界な漸近的誤差を保証する。
• 元のETDアルゴリズム（β = γ）が一般のターゲット方針と行動方針に対して有界なバイアスを持つことが示され、その誤差挙動に関する未解決の問題が解決された。
• 作用素の収縮モジュラスはβとλに依存し、λが1に近づくにつれて減少する。これは収束速度の向上を示唆する。
• バイアス-分散トレードオフが明示的に定量化されている：βを大きくすると分散は減少するがバイアスが増加する傾向があり、逆も同様である。
• 平均二乗誤差を最小化する最適なβは、必ずしもγではないことが示され、βの調整により元のETDよりも低い総誤差を達成可能である。
• ETD(λ, β)フレームワークは、βを変化させることでIS-TD、ETD、標準TDを特殊ケースとして統合でき、非政策TD手法の包括的かつ一貫した視覚的枠組みを提供する。