[論文レビュー] Exploration-Enhanced POLITEX

Yasin Abbasi-Yadkori, Nevena Lazic+2 more|arXiv (Cornell University)|Aug 27, 2019

Advanced Bandit Algorithms Research参考文献 30被引用数 19

ひとこと要約

本稿では、線形関数近似を用いた平均コストMDPにおけるレギュレート保証の向上を図るために、事前に訓練された高速混合型探索方策を組み込んだ強化学習アルゴリズムであるExploration-Enhanced POLITEX（EE-Politex）を提案する。従来の手法がすべての方策が均一に状態空間を探索する必要があるのに対し、EE-Politexは探索方策を用いて価値関数推定のための状態カバレッジを確保する。最小二乗モンテカルロ（LSMC）を用い、探索方策の定常分布からの初期化により、被覆性を確保し、均一な探索仮定なしに非線形レギュレートを達成する。

ABSTRACT

We study algorithms for average-cost reinforcement learning problems with value function approximation. Our starting point is the recently proposed POLITEX algorithm, a version of policy iteration where the policy produced in each iteration is near-optimal in hindsight for the sum of all past value function estimates. POLITEX has sublinear regret guarantees in uniformly-mixing MDPs when the value estimation error can be controlled, which can be satisfied if all policies sufficiently explore the environment. Unfortunately, this assumption is often unrealistic. Motivated by the rapid growth of interest in developing policies that learn to explore their environment in the lack of rewards (also known as no-reward learning), we replace the previous assumption that all policies explore the environment with that a single, sufficiently exploring policy is available beforehand. The main contribution of the paper is the modification of POLITEX to incorporate such an exploration policy in a way that allows us to obtain a regret guarantee similar to the previous one but without requiring that all policies explore environment. In addition to the novel theoretical guarantees, we demonstrate the benefits of our scheme on environments which are difficult to explore using simple schemes like dithering. While the solution we obtain may not achieve the best possible regret, it is the first result that shows how to control the regret in the presence of function approximation errors on problems where exploration is nontrivial. Our approach can also be seen as a way of reducing the problem of minimizing the regret to learning a good exploration policy. We believe that modular approaches like ours can be highly beneficial in tackling harder control problems.

研究の動機と目的

• 既存のPolitex変種が、価値関数推定誤差を制御するため、すべての方策が状態空間を均一に探索する必要があるという制限を克服すること。
• より弱い探索仮定のもとで、関数近似を用いた平均コスト強化学習におけるレギュレート最小化を可能にすること。
• 探索方策の学習を方策最適化から分離し、RLシステムのモジュラー設計を可能にすること。
• カートポールやグリッドワールドMDPのような、探索が困難な環境において、明示的探索の実証的利点を示すこと。
• 1つの事前に存在する探索的方策に基づく、価値推定誤差とレギュレートの理論的保証を提供すること。

提案手法

• ターゲット方策によるロールアウトに加え、事前に訓練された探索方策の定常分布からの初期化を組み合わせたハイブリッドデータ収集方式を導入する。
• これらのハイブリッドオンポリシーおよびオフポリシーの軌道から、最小二乗モンテカルロ（LSMC）を用いて価値関数を推定する。
• 探索方策の高速混合性を活用し、状態カバレッジを確保することで、ターゲット方策がグリーディであっても信頼性のある価値推定を可能にする。
• LSMCによる推定値を用いるようにPolitexアルゴリズムを修正し、探索方策の初期状態分布に従って生成されたデータから得られる価値推定を採用する。
• 線形関数近似下でのLSMC推定誤差を分析し、それが探索方策の混合時間および特徴量カバレッジに比例することを示す。
• LSMC推定器をPolitexに統合し、先行研究よりも弱い仮定のもとで非線形レギュレートを証明する。

実験結果

リサーチクエスチョン

• RQ1 すべての方策が探索する必要がない条件下でも、線形関数近似を用いた平均コストMDPで非線形レギュレートを達成できるか？
• RQ2 1つの事前に訓練された探索方策を活用することで、モデルフリー強化学習における価値関数推定の精度向上とレギュレート低減が可能か？
• RQ3 ターゲット方策および探索方策からのハイブリッドオンポリシーおよびオフポリシーのデータを用いることで、線形関数近似における価値推定誤差にどのような影響を与えるか？
• RQ4 カートポールのスイングアップのようなスパarsely-reward環境において、明示的探索が性能向上に顕著に寄与するか？
• RQ5 均一な探索仮定を1つの高速混合探索方策に置き換えた場合でも、Politexのレギュレート保証を維持できるか？

主な発見

• EE-Politexは、均一混合MDPにおいて、Õ(T^{3/4} + ε₀T) のレギュレートバインドを達成し、従来のPolitexの保証と同等の性能を示すが、より弱い仮定のもとで達成される。
• 探索方策が高速に混合する場合、ハイブリッドデータ上でLSMCを用いた価値推定誤差は、Õ(√(1/m)) のスケーリングを示し、完全な方策探索なしに信頼性のある推定が可能になる。
• 2×2グリッドワールドでは、すべての手法が最適方策に収束するが、グリッドサイズが増加すると、探索なしのPolitexは学習に失敗する一方、EE-Politexは成功する。
• スパースリワードのカートポールスイングアップ環境では、標準的なPolitexは最適方策を学習できず（不活性状態に留まる）、一方EE-Politexは探索方策を活用してポールのバランスを成功させる。
• 1回の訪問によるLSMC推定では、スケールが大きくなるとサンプルが不十分であるため性能が劣り、安定な推定にはより長いロールアウトや複数回の訪問が必要であることが示された。
• Atari Ms. Pac-Manでは、探索方策を混合しても性能向上が得られず、EE-Politexの利点は環境依存的であり、特に高次元かつスパースリワードな設定で最も効果的であることが示唆された。