[論文レビュー] Rate of Convergence and Error Bounds for LSTD($λ$)

Manel Tagorti, Bruno Scherrer|arXiv (Cornell University)|May 13, 2014

Markov Chains and Monte Carlo Methods参考文献 11被引用数 3

ひとこと要約

本稿は、β-混合仮定の下で、エリギビリティトレースを備えた最小二乗時系列差分法であるLSTD(λ)について、高確率での誤差バウンドと収束速度を確立する。任意のλ ∈ (0,1)に対して収束速度 Õ(1/√n) を証明し、λ = 0のときの先行研究のバウンドを拡張・改善するとともに、線形関数近似の品質と標本サイズに基づいたλの最適選択に関する洞察を提供する。

ABSTRACT

We consider LSTD($λ$), the least-squares temporal-difference algorithm with eligibility traces algorithm proposed by Boyan (2002). It computes a linear approximation of the value function of a fixed policy in a large Markov Decision Process. Under a $β$-mixing assumption, we derive, for any value of $λ\in (0,1)$, a high-probability estimate of the rate of convergence of this algorithm to its limit. We deduce a high-probability bound on the error of this algorithm, that extends (and slightly improves) that derived by Lazaric et al. (2012) in the specific case where $λ=0$. In particular, our analysis sheds some light on the choice of $λ$ with respect to the quality of the chosen linear space and the number of samples, that complies with simulations.

研究の動機と目的

• λ > 0 の場合におけるLSTD(λ)の有限標本誤差バウンドのギャップを埋めること。これは、既知の漸近的収束性にもかかわらず成立する。
• Lazaricら（2012年）がλ = 0のときのために導出した高確率誤差バウンドを、一般のλ ∈ (0,1)に拡張すること。
• 近似の品質と標本効率性の観点から、λの選択に理論的根拠を提供すること。
• β-混合条件の下で、LSTD(λ)の収束速度をその極限への収束に関して分析すること。
• λの選択を通じて近似誤差と標本複雑度のバランスをとるための実用的ガイダンスを提供すること。

提案手法

• β-混合仮定の下で、集中不等式を用いてLSTD(λ)の推定誤差に関する高確率バウンドを導出する。
• マルティンゲール型の議論とベルシュタイン型不等式を用いて、経験的平均とその期待値との乖離を制御する。
• エリギビリティトレースの構造を活用し、LSTD(λ)の更新をベルマン作用素の重み付き和として表現する。
• 経験的推定値と真の解との乖離をバウンドすることで、収束速度 Õ(1/√n) を確立する。
• 軌道内の依存性を解消するために、混合時間 m = ⌈log(n−1)/log(1/(λγ))⌉ を用いたカップリング議論を導入する。
• チェインニング議論と指数モーメントバウンドを用いて、経験的誤差ベクトルのノルムを制御する。

実験結果

リサーチクエスチョン

• RQ1 β-混合条件下で、λ ∈ (0,1) の場合におけるLSTD(λ)の有限標本収束速度は何か？
• RQ2 LSTD(λ)の誤差バウンドは、λの選択、線形関数近似の品質、および標本数にどのように依存するか？
• RQ3 λ = 0のときの高確率誤差バウンドをλ > 0に拡張できるか？もし可能であれば、その比較はどのようになるか？
• RQ4 近似誤差（射影タイプによる）と推定誤差（分散制御による）をλがどのように制御するかの最適なトレードオフは何か？
• RQ5 マルコフ連鎖の混合時間は、LSTD(λ)の収束速度にどのように影響するか？

主な発見

• β-混合仮定の下で、任意のλ ∈ (0,1)に対してLSTD(λ)は極限へ Õ(1/√n) の速度で収束する。
• LSTD(λ)の高確率誤差バウンドは Õ(1/√n) の形をとり、λ = 0のときのバウンドを拡張・わずかに改善している。
• λの選択は、射影タイプによる近似誤差と、分散制御による推定誤差の間のトレードオフに影響を与える。
• 解析により、λを増加させることで斜交射影から直交射影へと移行し、近似誤差が低減することが示された。
• バウンドは混合係数βと特徴空間次元dに依存し、log(1/δ)および混合時間に明示的な依存関係を示す。
• 最適なλは、λとともに減少する近似誤差と、λとともに増加する推定誤差の間のトレードオフをバランスさせる。バウンドはこのトレードオフを定量的に表現している。