[論文レビュー] Emphatic Temporal-Difference Learning

Ashique Rupam Mahmood, Huizhen Yu+2 more|arXiv (Cornell University)|Jul 6, 2015

Reinforcement Learning in Robotics参考文献 19被引用数 21

ひとこと要約

この論文は、ユーザー定義の興味関数に基づいて状態の更新を強調または軽視することで、選択的更新を可能にする安定で収束するオフポリシーTD学習アルゴリズム、強調的時系列差分学習（ETD）を導入する。線形関数近似と任意のオフポリシー学習において収束を達成し、状態に依存する強調とブートストラップを組み込むことで、1ステップあたり線形計算量で柔軟で効率的かつ正確な価値関数推定が可能になる。

ABSTRACT

Emphatic algorithms are temporal-difference learning algorithms that change their effective state distribution by selectively emphasizing and de-emphasizing their updates on different time steps. Recent works by Sutton, Mahmood and White (2015), and Yu (2015) show that by varying the emphasis in a particular way, these algorithms become stable and convergent under off-policy training with linear function approximation. This paper serves as a unified summary of the available results from both works. In addition, we demonstrate the empirical benefits from the flexibility of emphatic algorithms, including state-dependent discounting, state-dependent bootstrapping, and the user-specified allocation of function approximation resources.

研究の動機と目的

• 関数近似下でのオフポリシー時系列差分学習の不安定性、特にユーザー定義の興味に基づいて状態の更新を選択的に強調する場合に、その問題を解決すること。
• オフポリシーTD学習における収束性と安定性を保証するとともに、状態に依存する割引率、ブートストラップ、およびユーザー指定の状態強調を可能にする手法の開発。
• Suttonら（2015年）およびYu（2015年）の先行研究から得られた強調アルゴリズムの安定性と収束に関する理論的結果を統合・要約すること。
• ETD(λ)が、1つの行動方策を用いても、オフポリシー条件下でも複数のターゲット方策の同時かつ正確な予測が可能であることを実証的に示すこと。
• 興味関数と適応的強調を活用することで、ETD(λ)が従来のTD(λ)よりも安定性と正確性に優れていることを示すこと。

提案手法

• 標準的なTD(0)更新を、状態固有の強調係数を乗じることで変更し、この係数はその状態における興味と行動方策下での期待訪問頻度の積として定義される。
• 訪問頻度を超えた優先順位付けを可能にするために、状態に依存する強調関数を導入し、各更新の有効な重要性を調整する。
• 興味関数と特徴量トレースを組み合わせた新しい学習ルールを採用し、オフポリシー学習下でも安定性と収束性を維持する。
• 2段階時間スケールの更新メカニズムを採用：価値関数パラメータの更新と強調関数の更新を別々に実行し、リャプノフ安定性解析により収束を保証する。
• λを状態ごとに変化させることで、状態に依存する割引率とブートストラップを可能にし、柔軟な時系列抽象化を実現する。
• 更新量にクリッピング処理を適用することで分散を低減し、特に高分散のオフポリシー設定下での数値的安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ユーザー定義の興味に基づいて状態の更新を選択的に強調する場合でも、線形関数近似下でのオフポリシー時系列差分学習が安定で収束するか。
• RQ2 行動方策とターゲット方策が異なる場合でも、収束性を損なわずに特定の状態を価値推定の優先順位に置く方法は何か。
• RQ3 状態に依存する強調とブートストラップが、価値関数推定の正確性と安定性を向上させる役割は何か。
• RQ4 ETD(λ)はオフポリシー条件下で、従来のTD(λ)と比較して収束性と性能に優れているか。
• RQ5 ETD(λ)は1つの行動方策を用いても、複数のターゲット方策の価値関数を同時に学習し、安定性と正確性を維持できるか。

主な発見

• ETD(λ)は、興味関数と行動方策が異なる場合でも、線形関数近似下でのオフポリシー学習において収束を達成し、長年のオフポリシーTD学習における不安定性問題を解決した。
• 各更新の影響を興味と訪問頻度に基づいてバランスさせる状態に依存する強調関数を組み込むことで、アルゴリズムは安定性と収束性を効果的に維持した。
• グリッドワールド実験では、ETD(λ)は3つの異なるターゲット方策（均等、先頭優先、慎重）におけるブロックAの価値を推定し、50回の独立実験において方策性能の正しい相対順序を保持した。
• 更新量のクリッピングは、特に高分散のオフポリシー設定下で、不安定性を顕著に低減し、真の値からの大きな逸脱を防いだ。
• 状態に依存する割引率とブートストラップ（λを状態ごとに変化可能）が実現可能で有益であることが示された。これにより、より正確で柔軟な価値関数推定が可能になった。
• 興味関数を用いて状態を優先順位付けすることで、ETD(λ)はオフポリシーおよび関数近似設定下で、標準的なTD(λ)よりも安定性と正確性に優れた性能を示した。