[論文レビュー] Cautiously Optimistic Policy Optimization and Exploration with Linear Function Approximation

Andrea Zanette, Ching-An Cheng+1 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Bandit Algorithms Research参考文献 60被引用数 7

ひとこと要約

本稿では、線形関数近似を用いた強化学習におけるサンプル効率を向上させるために、慎重な楽観主義—すなわち、楽観的MDP内での懸念深い価値推定—と適応的MDP更新を組み合わせた、新しい方策最適化アルゴリズムCopoeを提案する。これにより、Pc-PgにおけるÕ(1/ε¹¹)のサンプル複雑性がÕ(1/ε³)に低下し、価値ベース手法にほぼ並ぶようになる一方で、モデル不適合に対するロバスト性を維持する。

ABSTRACT

Policy optimization methods are popular reinforcement learning algorithms, because their incremental and on-policy nature makes them more stable than the value-based counterparts. However, the same properties also make them slow to converge and sample inefficient, as the on-policy requirement precludes data reuse and the incremental updates couple large iteration complexity into the sample complexity. These characteristics have been observed in experiments as well as in theory in the recent work of~\citet{agarwal2020pc}, which provides a policy optimization method PCPG that can robustly find near optimal polices for approximately linear Markov decision processes but suffers from an extremely poor sample complexity compared with value-based techniques. In this paper, we propose a new algorithm, COPOE, that overcomes the sample complexity issue of PCPG while retaining its robustness to model misspecification. Compared with PCPG, COPOE makes several important algorithmic enhancements, such as enabling data reuse, and uses more refined analysis techniques, which we expect to be more broadly applicable to designing new reinforcement learning algorithms. The result is an improvement in sample complexity from $\widetilde{O}(1/ε^{11})$ for PCPG to $\widetilde{O}(1/ε^3)$ for PCPG, nearly bridging the gap with value-based techniques.

研究の動機と目的

• 強化学習における方策最適化手法の低いサンプル複雑性、特にモデル不適合が存在する場合の問題を解決すること。
• Pc-Pgのような既存のアルゴリズムが直面する、モデル誤差に対するロバスト性とサンプル効率のトレードオフを克服すること。
• 近似線形MDP仮定に対してロバスト性を保ちつつ、著しくサンプル効率を向上させる、証明可能な有効性を持つアルゴリズムを設計すること。
• 適応的MDP構築により、データの再利用を可能にし、方策最適化における重複データ収集を削減すること。
• 方策ベースと価値ベースの強化学習手法の間のサンプル複雑性のギャップを、ロバスト性を損なわずに埋めること。

提案手法

• 楽観的MDP内での懸念深い価値関数推定を用いた慎重な楽観主義の導入により、価値推定における片側エラーを保証する。
• 楽観的MDPの構築に適応的スケジュールを実装し、データ依存の基準に基づいて反復ごとのサンプル数を動的に調整する。
• Pc-Pgにおける固定された$O(N)$のデータ収集ラウンドを、$d$を特徴次元として、$O(d\log N)$ラウンドに置き換えるダブルイングスキームを用いる。
• 安定的かつ効率的な方策改善を保証するため、楽観的MDPフレームワーク内でのネイチャラルポリシー勾配更新を活用する。
• 重要度サンプリングとミラー降下技術を用いて、関数近似下での学習の安定性と一般化性能を向上させる。
• 集中限界と線形回帰の統計的レートを含む洗練された理論的分析を適用し、よりタイトなサンプル複雑性限界を導出する。

実験結果

リサーチクエスチョン

• RQ1 モデル不適合に対してロバスト性を保ちつつ、著しく改善されたサンプル複雑性を達成する方策最適化アルゴリズムを設計できるか？
• RQ2 慎重な楽観主義—すなわち、楽観的MDP内での懸念深い価値推定—は、誤差伝搬をどのように低減し、サンプル効率を向上させるのか？
• RQ3 方策最適化における重複サンプリングを低減しつつ、収束保証を維持するための適応的データ収集戦略は何か？
• RQ4 近似線形MDP仮定下で、方策最適化のサンプル複雑性はどの程度低減可能であり、ロバスト性を失わずに行えるか？
• RQ5 方策最適化の理論的分析を洗練させることで、価値ベース手法とほぼ同等の近似的最適なサンプル複雑性を達成できるか？

主な発見

• Copoeは、Pc-Pgにおける$\epsilon$-最適でない方策を求めるためのサンプル複雑性を、$\widetilde{O}(1/\epsilon^{11})$から$\widetilde{O}(1/\epsilon^3)$に低減し、価値ベース手法にほぼ並ぶ。
• この改善は、片側推定誤差を保証するため誤差伝搬を制限する慎重な楽観主義によって達成される。
• 適応的MDP更新スケジュールにより、データ収集ラウンド数が$O(N)$から$O(d\log N)$に低下し、データ再利用が著しく向上し、冗長性が低減される。
• Copoeはモデル不適合に対してロバストであり、性能劣化は$\ell_\infty$-有界摂動ではなく、平均誤差（転送誤差）に依存する。
• 理論的分析により、近似線形MDP仮定下でCopoeのサンプル複雑性がほぼ最適であることが確認され、タイトな集中限界と回帰誤差限界が得られている。
• 本手法により、類似した楽観的MDPの繰り返し解法を避ける効率的なデータ再利用が可能となり、Pc-Pgの主要なボトル neck であった要因が解消される。