[論文レビュー] A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes

Han Zhong, Tong Zhang|arXiv (Cornell University)|May 15, 2023

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、完全情報フィードバックを伴う線形マルコフ決定過程（MDP）に対する、オプティミスティックなプロキシマル方策最適化（PPO）アルゴリズムであるOPPO+を提案する。新たなマルチバッチ更新メカニズムと平均報酬を用いた方策評価ステップを導入し、確率的および敵対的線形MDPの両方で、$ otimes cancel{ text{（注：原文の数式が正しくレンダリングされないため、元の形式を保ったまま出力）} } $ \widetilde{\mathcal{O}}(d^{3/4}H^{2}K^{3/4})$ $ $ という最先端のレグレットバウンドを達成した。ここで、$d$ は環境次元、$H$ はホライズン、$K$ はエピソード数を表す。

ABSTRACT

The proximal policy optimization (PPO) algorithm stands as one of the most prosperous methods in the field of reinforcement learning (RL). Despite its success, the theoretical understanding of PPO remains deficient. Specifically, it is unclear whether PPO or its optimistic variants can effectively solve linear Markov decision processes (MDPs), which are arguably the simplest models in RL with function approximation. To bridge this gap, we propose an optimistic variant of PPO for episodic adversarial linear MDPs with full-information feedback, and establish a $ ilde{\mathcal{O}}(d^{3/4}H^2K^{3/4})$ regret for it. Here $d$ is the ambient dimension of linear MDPs, $H$ is the length of each episode, and $K$ is the number of episodes. Compared with existing policy-based algorithms, we achieve the state-of-the-art regret bound in both stochastic linear MDPs and adversarial linear MDPs with full information. Additionally, our algorithm design features a novel multi-batched updating mechanism and the theoretical analysis utilizes a new covering number argument of value and policy classes, which might be of independent interest.

研究の動機と目的

• 関数近似を伴う線形MDPにおけるプロキシマル方策最適化（PPO）の理論的理解のギャップを埋めること。
• 線形混合MDPにおけるオプティミスティックPPOの成功を、より単純かつ基本的な線形MDPモデルへと拡張すること。
• 状態空間のサイズに依存しないサブ線形レグレットを達成する方策ベースのアルゴリズムを構築すること、特に完全情報フィードバックの敵対的設定下でも有効であること。
• 線形MDPにおけるPPOの理論的解析に適した、新たなアルゴリズム的および解析的技術を導入すること。

提案手法

• エピソード的敵対的線形MDPと完全情報フィードバックを想定した、OPPO+を提案する。これは、線形MDPに特化したPPOのオプティミスティックな変種である。
• サンプル効率と方策更新の安定性を向上させるために、マルチバッチ更新メカニズムを導入する。
• 一般化誤差を制御するための理論的解析において、分散を低減し収束性を向上させるために、平均報酬を用いた方策評価を採用する。
• レグレット解析における一般化誤差を制御するために、価値関数と方策クラスのための新規なカバー数の議論を用いる。
• 方策評価ステップにおける誤差伝搬を制御するために、隣接する方策のドリフト解析を適用する。
• 推定誤差を制御するために、楕円型ポテンシャル補題と濃度不等式を活用する。

実験結果

リサーチクエスチョン

• RQ1 オプティミスティックなPPOの変種が、敵対的設定下の関数近似付き線形MDPを理論的に解けるか？
• RQ2 完全情報フィードバック下で、方策ベースのアルゴリズムが線形MDPで達成可能な最適なレグレットバウンドは何か？
• RQ3 線形MDPにおけるPPOの方策評価ステップを、どのように安定化させ、理論的に解析できるようにできるか？
• RQ4 線形MDPにおいて、最先端のレグレットを達成するために、どのような新規なアルゴリズム的要素が必要か？
• RQ5 線形MDPにおけるタイトなレグレットバウンドを支持するために、価値関数と方策クラスのためのカバー数の議論を開発できるか？

主な発見

• OPPO+は、完全情報フィードバックを伴う敵対的線形MDPにおいて、$\widetilde{\mathcal{O}}(d^{3/4}H^{2}K^{3/4})$のレグレットバウンドを達成した。これは、この設定下での方策ベースのアルゴリズムにおいて、現在最も良い結果である。
• レグレットバウンドはエピソード数$K$に関してサブ線形であり、環境次元$d$およびホライズン$H$ともに有利にスケーリングされる。これは、高次元線形MDPにおいても効率的であることを示している。
• 提案されたマルチバッチ更新メカニズムにより、サンプル効率が向上し、理論的解析上、安定な方策更新が可能になった。
• 価値関数と方策クラスのための新規なカバー数の議論は、本研究の範囲を超えて独立した価値を持つ新たな理論的ツールを提供している。
• 隣接する方策のドリフト解析により、平均報酬に基づく方策評価ステップにおける誤差蓄積がうまく制御された。
• 表1における先行研究との比較により、OPPO+は確率的および敵対的線形MDPの両方で、既存の方策ベース手法を上回る性能を発揮した。