[論文レビュー] Efficient Planning in Large MDPs with Weak Linear Function Approximation

Roshan Shariff, Csaba Szepesvári|arXiv (Cornell University)|Jul 13, 2020

Reinforcement Learning in Robotics参考文献 41被引用数 9

ひとこと要約

本稿では、弱い線形関数近似（特徴量によって最適価値関数のみがよく近似される場合）を用いた大規模なマルコフ決定過程（MDP）における確率的計画アルゴリズムを提示する。コア状態の集合を用い、その特徴量がすべての状態特徴量を張る。このアルゴリズムは、生成モデル（シミュレータ）を用いて多項式時間で計算可能であり、近似的に最適な性能を達成する。これは、弱い特徴量を用いた効率的計画に関する未解決問題を解決する。

ABSTRACT

Large-scale Markov decision processes (MDPs) require planning algorithms with runtime independent of the number of states of the MDP. We consider the planning problem in MDPs using linear value function approximation with only weak requirements: low approximation error for the optimal value function, and a small set of "core" states whose features span those of other states. In particular, we make no assumptions about the representability of policies or value functions of non-optimal policies. Our algorithm produces almost-optimal actions for any state using a generative oracle (simulator) for the MDP, while its computation time scales polynomially with the number of features, core states, and actions and the effective horizon.

研究の動機と目的

• 最適価値関数のみが特徴量によってよく近似される（弱い特徴量）場合に、大規模MDPにおける効率的計画の未解決問題に取り組むこと。非最適方策の価値関数の表現性は要求しない。
• ランタイムとクエリ複雑性が、特徴量数、コア状態数、行動数、有効ホライズンに多項式的に依存する計画アルゴリズムを設計すること。全状態空間のサイズとは独立に。
• 非最適方策や価値関数に対する強い表現仮定を必要とせずに、方策性能を近似的に最適化すること。
• 理論的線形計画法と実用的で効率的な計画のギャップを埋めるために、収束が保証された確率的サドルポイントソルバを導入すること。

提案手法

• アルゴリズムは、すべての状態ではなく、事前に指定された小さなコア状態集合でのみベルヌーイ制約を課す緩和された近似線形計画（ALP）を用いる。
• 計画問題を、方策と価値関数パラメータの凸-凹サドルポイント問題として定式化し、確率的勾配法による効率的最適化を可能にする。
• 適切に構築された距離生成関数を備えた確率的サドルポイントソルバにより、有界な双対ギャップを持つ近似解への収束が保証される。
• 指数的重みを用いたプロキシマル射影により、方策および価値関数空間への射影を実行し、選択したノルム下で安定性と収束性を確保する。
• 状態空間への依存を最小限に抑えるために、生成モデル（シミュレータ）とやり取りし、ベルヌーイバックアップと勾配を推定する。
• 理論的解析により、得られる方策が O(ε + cε_approx)-最適であることが示され、ここで ε は近似誤差、c は γ、d、A に依存する係数である。

実験結果

リサーチクエスチョン

• RQ1 最適価値関数のみが線形特徴量によってよく近似される（弱い特徴量）場合に、大規模MDPにおける効率的計画が可能か？非最適方策の表現性は要求しない。
• RQ2 特徴量数、コア状態数、行動数、有効ホライズンに多項式的に依存するランタイムとクエリ複雑性を持つ計画アルゴリズムを設計可能か？同時に近似的に最適な性能を維持できるか？
• RQ3 コア状態でのみ制約が課される緩和されたALP定式化を、近似的に最適な方策を得るために効率的に解く方法は？
• RQ4 確率的サドルポイントソルバの使用が、計画アルゴリズムの計算効率と収束保証に与える影響は？
• RQ5 弱い特徴量仮定下で、最適価値関数の近似誤差を効果的にバインドし、方策性能保証に翻訳できるか？

主な発見

• 提案されたアルゴリズムは、ε が近似誤差で c が割引率 γ、特徴量数 d、行動数 A に依存する係数である O(ε + cε_approx)-最適な方策を達成する。
• クエリ複雑性とランタイムは、特徴量数、コア状態数、行動数、有効ホライズン H = 1/(1−γ) に多項式的に依存し、全状態空間サイズとは独立に。
• 従来の手法と比較して計算コストを低減する確率的サドルポイントソルバを用いることで、大規模MDPにおける実用的導入が可能になる。
• 双対ギャップの理論的境界により、解から得られる方策が近似的に最適であることが保証され、T 回の反復後には O(1/√T) の速度でギャップが減少する。
• 弱い特徴量仮定下でも頑健である：最適価値関数が特徴量の線形結合でよく近似され、すべての状態の特徴量がコア状態特徴量の凸包内にあることが必要十分である。
• 距離生成関数とノルム構築により、1-強凸性と有界な直径が保証され、確率的サドルポイント法の収束保証が可能になる。