[論文レビュー] An Off-policy Policy Gradient Theorem Using Emphatic Weightings

Ehsan Imani, Eric Graves+1 more|arXiv (Cornell University)|Nov 22, 2018

Reinforcement Learning in Robotics参考文献 33被引用数 4

ひとこと要約

本稿では、一般の方策パラメータ化に対して、強調重みを用いた最初の非政策的方策勾配定理を提示する。これにより、一般の方策パラメータ化においても正確な勾配推定が可能になる。提案されたACEアルゴリズムは、従来の手法（OffPAC や DPG）が失敗する反例においても最適方策に収束することを示しており、非政策的学習における正確な勾配更新が半勾配近似よりも必要不可欠であることを実証している。

ABSTRACT

Policy gradient methods are widely used for control in reinforcement learning, particularly for the continuous action setting. There have been a host of theoretically sound algorithms proposed for the on-policy setting, due to the existence of the policy gradient theorem which provides a simplified form for the gradient. In off-policy learning, however, where the behaviour policy is not necessarily attempting to learn and follow the optimal policy for the given task, the existence of such a theorem has been elusive. In this work, we solve this open problem by providing the first off-policy policy gradient theorem. The key to the derivation is the use of $emphatic$ $weightings$. We develop a new actor-critic algorithm$\unicode{x2014}$called Actor Critic with Emphatic weightings (ACE)$\unicode{x2014}$that approximates the simplified gradients provided by the theorem. We demonstrate in a simple counterexample that previous off-policy policy gradient methods$\unicode{x2014}$particularly OffPAC and DPG$\unicode{x2014}$converge to the wrong solution whereas ACE finds the optimal solution.

研究の動機と目的

• 一般の方策パラメータ化における理論的に整合性のある非政策的方策勾配定理を導出するという長年の未解決問題を解決すること。
• OffPAC や DPG などの既存の非政策的方策勾配手法が半勾配近似に依存しており、最適でない解に収束する可能性があるという制限を克服すること。
• 強調重みを組み込むことで、非政策的分布シフトを補正し、真の勾配に従う新しいアクター・クリティック手法ACEを開発すること。
• 反例を通じて、半勾配手法が最適方策に到達できない一方でACEが到達できることを示し、非政策的学習における真の勾配更新の重要性を実証すること。
• 推定された強調重みと真の強調重みの違いが、表計算および連続的行動設定における学習性能に与える影響を調査すること。

提案手法

• 行動方策とターゲット方策の差異を補正する強調重みを用いて、勾配を簡略化した非政策的方策勾配定理を導出する。
• 導出された定理を基に、正確な勾配を計算するための強調重み付きアクター・クリティック（ACE）アルゴリズムを提案する。
• Yu (2015) や Sutton et al. (2016) の手法を応用し、強調重みを段階的に推定することで、未知の環境でもオンライン学習を可能にする。
• 確率的および決定的方策の両方に対して定理を適用し、方策タイプに依存しない一般性を示す。
• クリティックを用いて状態価値を推定し、別個のアクターが強調重み付き勾配に基づいて方策パrameterを更新する。
• 重要度サンプリング比と強調重みを用いて、非政策的データ分布のずれを補正し、バイアスのない勾配推定を保証する。

実験結果

リサーチクエスチョン

• RQ1 表計算設定を超えた一般の方策パラメータ化において、理論的に整合性のある非政策的方策勾配定理を導出できるか？
• RQ2 OffPAC や DPG などの既存の非政策的方策勾配手法が、半勾配近似に依存しているため、最適でない解に収束するのか？
• RQ3 強調重みの使用により、非政策的学習における正確な勾配推定が可能となり、最適方策への収束が達成できるか？
• RQ4 推定された強調重みの精度が、長時間の軌道および連続的行動空間におけるACEアルゴリズムの性能に与える影響は何か？
• RQ5 非政策的アクター・クリティック学習において、真の勾配に従うことが半勾配更新よりも根本的に優位であるか？

主な発見

• 状態のエイリアスが生じる3状態の反例において、OffPAC と DPG は最適でない方策に収束するが、ACE は最適解に収束する。これは、半勾配手法の失敗を示している。
• 真の強調重みを用いたTrue-ACEは11状態のMDPで最適性能を達成するが、推定された強調重みを用いたACEはλaが増加するにつれて性能が低下し、推定誤差が学習に影響することが示された。
• 連続的行動MDPにおいて、DPGはバイアスのある更新により正の行動を好む傾向にあり、最適でない方策に収束するが、True-DPGE と True-ACE は正の行動選好を正しく学習する。
• λa = 1 のACEは λa = 0 のACEよりも顕著に優れた性能を示すが、依然としてTrue-ACEに劣り、推定された強調重みが複雑な環境で性能を劣化させることを示している。
• 現在の強調重みの推定手法は連続的行動空間では不十分であり、ACEをこのような設定に拡張するには、より高精度な推定が不可欠であることが示唆された。
• 本研究は、OffPAC や DPG などの半勾配手法が非政策的設定において根本的に欠陥を抱えていることを確認した。これらの手法の定常点には最適方策が含まれない。