[論文レビュー] Consistent On-Line Off-Policy Evaluation

Assaf Hallak, Shie Mannor|arXiv (Cornell University)|Feb 23, 2017

Smart Grid Energy Management被引用数 39

ひとこと要約

本稿では、行動方策とターゲット方策の間で不一致する定常分布に起因するバイアスを補正することで一貫性を達成する、COP-TD(λ, β)と呼ばれる新しいオンライン・オフポリシー時系列差分アルゴリズムを提案する。関数近似を用いる状況において、ETD(λ, β)などの既存手法よりも優れた性能を示し、分布の乖離が大きい状況でも一貫性を保つ。

ABSTRACT

The problem of on-line off-policy evaluation (OPE) has been actively studied in the last decade due to its importance both as a stand-alone problem and as a module in a policy improvement scheme. However, most Temporal Difference (TD) based solutions ignore the discrepancy between the stationary distribution of the behavior and target policies and its effect on the convergence limit when function approximation is applied. In this paper we propose the Consistent Off-Policy Temporal Difference (COP-TD($λ$, $β$)) algorithm that addresses this issue and reduces this bias at some computational expense. We show that COP-TD($λ$, $β$) can be designed to converge to the same value that would have been obtained by using on-policy TD($λ$) with the target policy. Subsequently, the proposed scheme leads to a related and promising heuristic we call log-COP-TD($λ$, $β$). Both algorithms have favorable empirical results to the current state of the art on-line OPE algorithms. Finally, our formulation sheds some new light on the recently proposed Emphatic TD learning.

研究の動機と目的

• 関数近似が適用される際のオフポリシーTD学習における一貫性の欠如、特に行動方策とターゲット方策の間の不一致する定常分布に起因する問題を解決すること。
• 線形関数近似下で、オンポリシーTD(λ)と同一の固定点に収束するオンラインアルゴリズムを構築すること。
• ETD(λ, β)などの先行手法が直面する安定性と収束性に影響を与えるハイパーパrameter βに依存する度合いを低減すること。
• 一貫性のあるオンライン・オフポリシー評価の理論的裏付けと実装可能性を有するフレームワークを提供すること。
• TD(λ)の統計的解釈との関連を探索し、分散に基づくまたは対数スケーリングによる重み付けを用いた、より頑健なハイブリッド版であるlog-COP-TD(λ, β)を導出すること。

提案手法

• 行動方策とターゲット方策の定常分布比 dπ(s)/dμ(s) を考慮した更新式を用いて、エリギビリティトレースの更新を変更することで、オンポリシーTD(λ)と一貫性を持つ新しいオンライン・オフポリシーTDアルゴリズムCOP-TD(λ, β)を提案する。
• 特徴空間への修正された射影を用いることで、関数近似下での価値関数推定におけるバイアスを補正する、重み付きエリギビリティトレースを導入する新しい更新則を提示する。
• 修正されたベルヌーイ作用素の解としてアルゴリズムを導出し、極限点をオンポリシーTD(λ)と一致させる。
• log(ρd) を ρd の代わりに近似することで、βに依存する感度を低減し、実験的安定性を向上させるヒューリスティックな変種、log-COP-TD(λ, β)を提案する。
• チェーンMDP、ランダムMDP、アクロボット、カート・ポール環境において、ETD(λ, β)およびGTD(λ, β)と比較して、実験的に手法の有効性を検証する。
• オンポリシーTDが別個の軌道で得た真値を用いて、収束性を評価するための重み付き誤差指標 ∥V̂ − ΠπTVπ∥²_dπ を使用する。

実験結果

リサーチクエスチョン

• RQ1 行動方策とターゲット方策の間の定常分布の不一致を補正することで、関数近似を伴うオフポリシーTD学習がオンポリシーTD(λ)と一貫性を持つようにできるか？
• RQ2 COP-TD(λ, β)は、収束精度およびβに与える感受性という観点から、ETD(λ, β)およびGTD(λ, β)と比較してどのように性能を発揮するか？
• RQ3 提案されたlog-COP-TD(λ, β)変種は、βに依存する感度を低減しつつ、推定精度を維持または向上させるか？
• RQ4 関数近似下でのオフポリシーTDアルゴリズムの収束行動に、定常分布比 dπ(s)/dμ(s) がどのように影響を与えるか？
• RQ5 TD(λ)の統計的解釈から、分散に基づくまたは対数スケーリングによる重み付けを用いることで、より優れたオフポリシー推定が可能になるか？

主な発見

• 適切な特徴量が使用された場合、COP-TD(λ, β)はオンポリシーTD(λ)と同一の固定点に収束し、理論的整合性を達成する。
• ETD(λ, β)と比較して、特に分布の乖離が大きい状況において、βハイパーパrameterへの感受性が顕著に低減されている。
• 100状態のチェーンMDPでは、COP-TD(λ, β)およびlog-COP-TD(λ, β)が、βが大きい場合にETD(λ, β)およびGTD(λ, β)を顕著に上回る性能を示す。
• アクロボットおよびカート・ポール環境では、COP-TD(λ, β)およびlog-COP-TD(λ, β)がETD(λ, β)と同等またはそれ以上の性能を発揮し、価値推定の誤差が低い。
• log-COP-TD(λ, β)はβに依存する感度が低く、さまざまなMDPにおいてより安定した性能を示す。最適な性能はγ_logのチューニング時に得られる。
• GTD(λ, β)は、すべての設定で一貫して性能が低く、特に方策の乖離が大きい状況ではその更新則の限界が顕著に現れる。