[論文レビュー] Investigating practical linear temporal difference learning

Adam White, Martha White|arXiv (Cornell University)|Feb 28, 2016

Adaptive Dynamic Programming Control参考文献 12被引用数 16

ひとこと要約

本稿では、オンポリシー設定におけるTD学習の効率性とオフポリシー設定における勾配-TD手法の安定性を組み合わせることを目的としたハイブリッド時系列差分（TD）学習アルゴリズム—GTD(λ)、PTD、HTD、TO-HTD—を提案し、実験的に評価している。主な発見は、計算コストが懸念される状況ではGTD(λ)およびTO-GTD(λ)が最も頑健である一方、TO-ETD(λ,β)は全体的に最も優れた性能を示すが、分散が大きく、パラメータに敏感であることである。

ABSTRACT

Off-policy reinforcement learning has many applications including: learning from demonstration, learning multiple goal seeking policies in parallel, and representing predictive knowledge. Recently there has been an proliferation of new policy-evaluation algorithms that fill a longstanding algorithmic void in reinforcement learning: combining robustness to off-policy sampling, function approximation, linear complexity, and temporal difference (TD) updates. This paper contains two main contributions. First, we derive two new hybrid TD policy-evaluation algorithms, which fill a gap in this collection of algorithms. Second, we perform an empirical comparison to elicit which of these new linear TD methods should be preferred in different situations, and make concrete suggestions about practical use.

研究の動機と目的

• 関数近似を伴うオフポリシー時系列差分学習において、安定的かつ線形時間計算量の状態関数近似を達成するという長年の課題に取り組む。
• オンポリシーの効率性（例：TD(λ)）とオフポリシーの安定性（例：勾配-TD手法）のギャップを埋めるために、オフポリシー採択に基づいて更新を適応的に補正するハイブリッドTDアルゴリズムを導入する。
• Bairdの反例のような挑戦的なオフポリシー領域を含む多様な環境において、新規および既存の線形オフポリシーTD手法の性能を実験的に比較する。
• 収束性、分散、計算コストを考慮した実用的アルゴリズム選定のための実践的提言を提供する。

提案手法

• オンポリシー設定では標準TD更新を、オフポリシー設定では勾配-TD風の補正を用いるハイブリッドTDアルゴリズムとして、GTD(λ)、PTD、HTD、TO-HTDを提案する。
• 時間的信用配分を向上させるために、ハイブリッドフレームワークに選択的履歴（λ）を統合し、安定性を維持する。
• 特にEmphatic TD（ETD）およびその変種においてオフポリシー発散を是正するため、重要度サンプリングとフォローオン分布補正を採用する。
• 平均二乗投影ベルヌーイ誤差（MSPBE）の最小化にミラー・プロックス法を適応させ、有限サンプル収束保証を持つGTD2-mpおよびTDC-mpアルゴリズムを導出する。
• 前方視点と後方視点TD更新の不一致を是正するため、真のオンライン版（TO-TD、TO-GTD）を実装し、オンポリシー設定における収束性を向上させる。
• 継続的で割引率が適用されるタスクにおいて、すべての状態で値1.0を示す状態ベースの関心関数を、元のETD研究で提唱されたとおりに採用する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドTD手法（HTD、GTD(λ)、PTD）は、オフポリシー採択下で、従来のTD(λ)および勾配-TD手法と比べて収束速度および安定性においてどのように異なるか？
• RQ2 選択的履歴（λ）の導入はオフポリシー設定での性能を向上させるのか、それとも分散と不安定性を悪化させるのか？
• RQ3 ミラー・プロックスに基づく手法（GTD2-mp、TDC-mp）は、Bairdの反例のような挑戦的領域において、標準TDおよび勾配-TD手法と比べてどのように性能を発揮するか？
• RQ4 エムファティックTD（ETD）のパラメータβは、オフポリシー領域における性能と分散にどのような影響を与えるか？
• RQ5 実用的なオフポリシー学習シナリオにおいて、収束性、分散、パラメータ感受性、計算コストのバランスを最適化するにはどのアルゴリズムが最良か？

主な発見

• GTD(λ)およびTO-GTD(λ)は、オフポリシー採択に対して他の手法よりも優れた頑健性を示し、計算コストが制限される状況ではGTD(λ)が好ましい。
• オンポリシー設定では、TD(λ)、PTD、HTDと比較して、GTD(λ)がより速い学習と優れたパラメータ感受性を達成しており、このような状況ではTD(λ)が優れているという仮定に疑問を呈する。
• ミラー・プロックスに基づく手法（GTD2-mpおよびTDC-mp）はBairdの反例においてのみ最高の性能を示したが、他のオフポリシー領域では高い分散と劣った性能を示し、特にλ > 0の場合は顕著であった。
• 選択的履歴（λ）は、Bairdの反例のような極端なオフポリシー領域ではほとんど効果がなく、λがほぼゼロに近い場合にのみ信頼性のある誤差低減が達成された。
• TO-ETD(λ,β)はほとんどの領域で全体的に最も優れた性能を示したが、高い分散と鋭いパラメータ感受性を示し、特に二値特徴設定では顕著であった。
• HTD(λ)およびTO-HTD(λ)はBairdの反例で発散しなかったが、満足できる性能を示さず、極めてオフポリシーな状況では有効性が限定的であることが示された。