[論文レビュー] Softmax Policy Gradient Methods Can Take Exponential Time to Converge

Gen Li, Yuting Wei+2 more|arXiv (Cornell University)|Feb 22, 2021

Reinforcement Learning in Robotics参考文献 51被引用数 7

ひとこと要約

この論文は、正確な勾配と有利な初期化のもとでも、ソフトマックス方策勾配法が割引無限時 horizon 表形式MDPで収束するまでに指数的時間の反復を要することを示している。著者らは、収束時間のスケーリングが $|1/η| \cdot |ℓ|^{2^{\Omega(1/(1-\gamma))}}$ となる3行動MDPを構築し、広く使われているこれらのアルゴリズムの最悪ケース反復複雑度における根本的な限界を明らかにした。

ABSTRACT

The softmax policy gradient (PG) method, which performs gradient ascent under softmax policy parameterization, is arguably one of the de facto implementations of policy optimization in modern reinforcement learning. For $γ$-discounted infinite-horizon tabular Markov decision processes (MDPs), remarkable progress has recently been achieved towards establishing global convergence of softmax PG methods in finding a near-optimal policy. However, prior results fall short of delineating clear dependencies of convergence rates on salient parameters such as the cardinality of the state space $\mathcal{S}$ and the effective horizon $\frac{1}{1-γ}$, both of which could be excessively large. In this paper, we deliver a pessimistic message regarding the iteration complexity of softmax PG methods, despite assuming access to exact gradient computation. Specifically, we demonstrate that the softmax PG method with stepsize $η$ can take \[ \frac{1}η |\mathcal{S}|^{2^{Ω\big(\frac{1}{1-γ}\big)}} ~ ext{iterations} \] to converge, even in the presence of a benign policy initialization and an initial state distribution amenable to exploration (so that the distribution mismatch coefficient is not exceedingly large). This is accomplished by characterizing the algorithmic dynamics over a carefully-constructed MDP containing only three actions. Our exponential lower bound hints at the necessity of carefully adjusting update rules or enforcing proper regularization in accelerating PG methods.

研究の動機と目的

• ソフトマックス方策勾配法の割引無限時 horizon 表形式MDPにおける最悪ケース反復複雑度を調査すること。
• 収束速度が状態空間サイズ $|\mathcal{S}|$ と有効なホライズン $1/(1-\gamma)$ に依存するかどうかを特定すること。
• 最近のグローバル収束結果が実用的効率を示すと仮定するのをくつがえすために、潜在的に指数的実行時間の可能性を明らかにすること。
• 正確な勾配計算下で、ソフトマックスPG法のアルゴリズム的限界を露呈するハードMDPインスタンスを構築すること。

提案手法

• 著者らは、収束ダイナミクスを遅くするように、たった3つの行動をもつ carefully に設計されたMDPを考案した。
• ソフトマックスパラメータ化における方策勾配更新を分析し、時間経過に伴う行動価値差と方策確率の変化を追跡した。
• 方策更新と勾配変化の間の再帰的関係に着目し、特に $\theta(s,a_1) - \theta(s,a_2)$ の差に注目した。
• 指数関数的および線形近似を用いて、1ステップあたりの方策改善の上限を導出し、小きな $x$ に対して $e^x - 1 \leq 2x$ が成り立つ不等式に依存した。
• 主な技術として、異なる行動のための方策確率がしきい値を越える「クロスオーバー時刻」を追跡し、収束速度を段階的に制御した。
• 証明では、目標方策に到達するまでの時間を再帰的に下界で評価し、$t_s(\tau_s) - t_{\text{ref}}$ が $t_{s-2}(\tau_{s-2})^{1.5}$ の関数として増大することを示し、指数的爆発を導いた。

実験結果

リサーチクエスチョン

• RQ1 正確な勾配が得られるとしても、ソフトマックス方策勾配法は最悪ケースで多項式時間で収束可能か？
• RQ2 収束時間は状態空間サイズ $|\mathcal{S}|$ と有効ホライズン $1/(1-\gamma)$ にどのように依存するか？
• RQ3 先行研究におけるソフトマックスPG法の顕著なグローバル収束は、実用的効率を保証するのに十分か？
• RQ4 ソフトマックスPG法が収束するまでに指数的反復を要するようなハードMDPを構築可能か？
• RQ5 有益な初期化と有利な探索条件のもとでも、指数的下界は維持されるか？

主な発見

• 正確な勾配計算のもとでも、ソフトマックス方策勾配法は少なくとも $|1/\eta| \cdot |\mathcal{S}|^{2^{\Omega(1/(1-\gamma))}}$ の反復を要する。
• この指数的下界は、有益な方策初期化と有界な分布マッチングを持つ有利な初期状態分布のもとでも成立する。
• 収束時間は有効ホライズン $1/(1-\gamma)$ に対して超指数的依存を示し、実用的には非常に大きな値を取り得る。
• 下界は、方策更新の再帰的解析により確立され、1ステップあたりの改善が時間とともに急速に減少することを示した。
• 構築は、劣悪行動のための方策確率がゆっくりと減少する3行動MDPに依存している。
• この結果は、単純なソフトマックスPG法が効率的にスケーリングできない可能性を示唆し、収束を加速するために更新ルールや正則化の修正が求められることを示唆する。