[論文レビュー] Provably Efficient Adaptive Approximate Policy Iteration.

Botao Hao, Nevena Lazic+3 more|arXiv (Cornell University)|Feb 8, 2020

Advanced Bandit Algorithms Research被引用数 9

ひとこと要約

本稿では、敵対的オンライン学習と適応的学習率、楽観的損失予測を用いて、割引なしで継続的MDPにおいてO(T^{2/3})のレグレットバウンドを達成するモデルフリー強化学習アルゴリズムである適応的近似方策反復（AAPI）を提案する。これは、関数近似を伴う平均報酬設定において、先行するO(T^{3/4})のバウンドを改善するものである。

ABSTRACT

Model-free reinforcement learning algorithms combined with value function approximation have recently achieved impressive performance in a variety of application domains, including games and robotics. However, the theoretical understanding of such algorithms is limited, and existing results are largely focused on episodic or discounted Markov decision processes (MDPs). In this work, we present adaptive approximate policy iteration (AAPI), a learning scheme which enjoys a O(T^{2/3}) regret bound for undiscounted, continuing learning in uniformly ergodic MDPs. This is an improvement over the best existing bound of O(T^{3/4}) for the average-reward case with function approximation. Our algorithm and analysis rely on adversarial online learning techniques, where value functions are treated as losses. The main technical novelty is the use of a data-dependent adaptive learning rate coupled with a so-called optimistic prediction of upcoming losses. In addition to theoretical guarantees, we demonstrate the advantages of our approach empirically on several environments.

研究の動機と目的

• 割引なしで継続的MDPにおける価値関数近似を伴うモデルフリー強化学習の理論的ギャップを埋めること。
• 関数近似下での平均報酬強化学習に対して、証明可能に効率的なアルゴリズムを開発すること。
• 敵対的オンライン学習技術を、関数近似を伴う強化学習における価値関数近似へと拡張し、より良いレグレットバウンドを達成すること。
• 適応的学習率と楽観的予測を統合した理論的根拠に基づくフレームワークを提供すること。

提案手法

• 価値関数近似をオンライン学習問題として定式化し、価値関数を損失とみなす。
• 履歴勾配に基づいてステップサイズを動的に調整するデータ依存的適応的学習率を採用する。
• 将来の損失を予測することで、敵対的オンライン学習設定におけるレグレットを低減する楽観的予測メカニズムを導入する。
• 敵対的オンライン学習理論に裏付けられ、レグレット最小化を用いて方策改善を実現する。
• 一様エルゴディックMDP内で動作し、長期的な安定性と収束性を保証する。
• 理論的分析により、関数近似を伴う平均報酬設定においてO(T^{2/3})のレグレットバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 関数近似を伴う平均報酬強化学習において、O(T^{3/4})よりタイトなレグレットバウンドを達成できるか？
• RQ2 適応的学習率と楽観的予測は、関数近似を伴うモデルフリーRLにおけるレグレットをどのように改善するか？
• RQ3 敵対的オンライン学習技術を、理論的保証のもとで、継続的MDPにおける方策反復へと拡張可能か？
• RQ4 一様エルゴディックMDPにおける適応的近似方策反復の理論的性能限界は何か？

主な発見

• 提案されたAAPIアルゴリズムは、割引なしで継続的MDPにおいてO(T^{2/3})のレグレットバウンドを達成し、平均報酬設定における先行する最良バウンドO(T^{3/4})を改善する。
• データ依存的適応的学習率の使用により、ハイパーパramータチューニングへの感受性が低下し、収束安定性が向上する。
• 将来の損失に対する楽観的予測は、オンライン学習フレームワークにおけるレグレット低減に顕著な寄与を示す。
• 一様エルゴディックMDPと関数近似の仮定の下で、アルゴリズムは証明可能に効率的かつ理論的に妥当である。
• 実験結果により、AAPIは複数の環境で実用的利点を示しており、理論的利点が妥当であることが検証される。
• 敵対的オンライン学習技術の統合により、関数近似を伴うモデルフリーRLにおけるより強い理論的保証が可能になる。