[論文レビュー] Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes

Yi Tian, Jian Qian+1 more|arXiv (Cornell University)|Jun 24, 2020

Reinforcement Learning in Robotics参考文献 38被引用数 4

ひとこと要約

本稿では、ミニマックス最適なレグレットを達成する2つのモデルベース強化学習アルゴリズム—F-UCBVI および F-EULER—を、要因分解型マーカフ・マルコフ決定過程（FMDP）に対して提案する。逆テレスコーピングに基づくボーナス項を導入することで、$\tilde{\mathcal{O}}(\sqrt{HSAT})$ の下界に近いタイトなレグレットバウンドを達成し、F-EULERは理論的限界に一致する問題依存レグレットを達成する。

ABSTRACT

We study minimax optimal reinforcement learning in episodic factored Markov decision processes (FMDPs), which are MDPs with conditionally independent transition components. Assuming the factorization is known, we propose two model-based algorithms. The first one achieves minimax optimal regret guarantees for a rich class of factored structures, while the second one enjoys better computational complexity with a slightly worse regret. A key new ingredient of our algorithms is the design of a bonus term to guide exploration. We complement our algorithms by presenting several structure-dependent lower bounds on regret for FMDPs that reveal the difficulty hiding in the intricacy of the structures.

研究の動機と目的

• 状態遷移に条件付き独立性を示すエピソード型要因分解型MDP（FMDP）において、ミニマックス最適なレグレットを達成する挑戦に取り組む。
• 成分別遷移推定における$ L_1 $-ノルムの代わりにスカラー濃度を用いる場合に、探索における楽観主義の確保が困難であるという課題を克服する。
• FMDPにおける構造的スパarsityを活用して、標準的なMDPのバウンドを上回るレグレットの低減を図る。特に、非最適な$ \sqrt{S_i} $要因の排除を目的とする。
• FMDPの構造に依存するレグレットの下界を確立し、異なるFMDP構造の本質的難易度を特徴付ける。
• 2つの異なるトレードオフを持つアルゴリズムを提案することで、レグレット最適性と計算効率の両立を図る：1つはよりタイトなレグレットと単純なボーナスを備え、もう1つはより優れた計算複雑性を有する。

提案手法

• スカラー濃度に基づくHoeffdingスタイルのボーナスを用いるモデルベースアルゴリズムF-UCBVIを提案し、探索における楽観主義を保証する。
• 逆テレスコーピング技術を導入して、成分遷移全体にわたり楽観主義を維持するボーナス項を構築し、よりタイトなレグレットバウンドを実現する。
• 問題依存レグレットを向上させるために、Bernsteinスタイルのボーナスを用いるF-EULERというモデルベースアルゴリズムを設計し、F-UCBVIに比べて最悪ケースのレグレットスケーリングを改善する。
• FMDPの既知の因子分解構造を活用して、成分別に遷移確率を推定し、新規のボーナス構造と組み合わせる。
• 濃度不等式（Hoeffding、Bernstein、および経験的Bernstein）を用いて推定誤差をバウンドし、高確率の信頼区間を導出する。
• 逆テレスコーピングボーナスを用いることで、成分別ボーナスの和が適用されても、楽観的価値関数が真の価値関数の有効な上界のまま保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 成分別ボーナスの単純な和算の制限を克服することで、エピソード型FMDPにおいてミニマックス最適なレグレットを達成できるか？
• RQ2 FMDPのどの構造的性質が、非要因分解型MDPにおける$ \tilde{\mathcal{O}}(\sqrt{HSAT}) $の下界に一致するレグレットバウンドを可能にするか？
• RQ3 スカラー濃度を$ L_1 $-ノルム濃度の代わりに用いる場合に、FMDPにおける楽観主義を保証するボーナス項をどのように設計できるか？
• RQ4 FMDPにおけるレグレットの根本的限界は何か？ そして、それらは根本的な因子分解構造にどのように依存するか？
• RQ5 アルゴリズム設計を通じて、FMDP学習においてレグレット最適性と計算効率の両方を達成できるか？

主な発見

• F-UCBVIは、$ \tilde{\mathcal{O}}\left(\sum_{i=1}^{m}\sqrt{H^2 X[I_i] T}\right) $ のレグレットバウンドを達成し、対数要因を除いてミニマックス最適レートに一致する。
• F-EULERは問題依存レグレットバウンドを達成し、最悪ケースでは$ \tilde{\mathcal{O}}\left(\sum_{i=1}^{m}\sqrt{H X[I_i] T}\right) $ に簡略化され、$ \Omega(\sqrt{HSAT}) $ の下界に近づく。
• 提案された逆テレスコーピングボーナス技術により、スカラー濃度の下で楽観主義を実現でき、従来の手法の主な障壁を克服する。
• FMDPに対して構造依存のレグレット下界が確立され、難易度が特定の因子分解構造に依存することが明らかになった。
• F-EULERアルゴリズムは、成分別レグレットにおける$ \sqrt{S_i} $要因を排除することで、従来の$ \tilde{\mathcal{O}}(\sum \sqrt{D^2 S_i X[I_i] T}) $ のバウンドを上回る。
• $ \sqrt{H} $要因のオーバーヘッドがあるものの、F-UCBVIはより単純なボーナス構造のおかげで、著しく低い計算複雑性を達成する。