[論文レビュー] Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes

Jiafan He, Heyang Zhao+2 more|arXiv (Cornell University)|Dec 12, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、線形マルコフ決定過程における計算的に効率的な強化学習アルゴリズムとして、LSVI-UCB++を提案する。これは、$acksim O(dackslash sqrt{H^3K})$ のほぼミニマックス最適なレグレットを達成する最初のアルゴリズムである。推定精度の向上とレグレットの低減を図るために、分散に配慮した重み付きリッジ回帰とまれに切り替わる方策を組み合わせ、理論的下界から対数要因を除いて一致する。

ABSTRACT

We study reinforcement learning (RL) with linear function approximation. For episodic time-inhomogeneous linear Markov decision processes (linear MDPs) whose transition probability can be parameterized as a linear function of a given feature mapping, we propose the first computationally efficient algorithm that achieves the nearly minimax optimal regret $ ilde O(d\sqrt{H^3K})$, where $d$ is the dimension of the feature mapping, $H$ is the planning horizon, and $K$ is the number of episodes. Our algorithm is based on a weighted linear regression scheme with a carefully designed weight, which depends on a new variance estimator that (1) directly estimates the variance of the optimal value function, (2) monotonically decreases with respect to the number of episodes to ensure a better estimation accuracy, and (3) uses a rare-switching policy to update the value function estimator to control the complexity of the estimated value function class. Our work provides a complete answer to optimal RL with linear MDPs, and the developed algorithm and theoretical tools may be of independent interest.

研究の動機と目的

• 既存の計算的に効率的な強化学習アルゴリズムと、線形MDPにおけるミニマックス最適なレグレット境界の間のギャップを埋めること。
• 先行の線形ミックスチャネルMDP手法が要請する高価な統合またはサンプリングオラクルに依存せずに、ほぼ最適なレグレットを達成する手法を開発すること。
• 真の価値関数の分散を直接標的にした分散推定器を設計し、よりタイトな信頼集合を実現すること。
• まれに切り替わる更新戦略により、推定関数クラスの複雑さを均一に制御しながら計算効率を維持すること。

提案手法

• 推定精度を向上させるために、新たな分散に配慮した重み関数を備えた重み付きリッジ回帰スキームを提案する。
• 真の最適価値関数の分散を直接推定する新しい分散推定器を導入する。これにより、過剰推定のリスクが低減される。
• 時間とともに単調に減少する価値関数推定器を採用し、推定精度の向上を保証する。
• 価値関数推定器の更新にまれに切り替わる方策を用いることで、推定関数クラスの複雑さを制御する。
• 線形回帰の高確率バインディングに基づく信頼楕円体フレームワークを適用し、行列集中不等式を活用する。
• 推定誤差がエピソード全体にわたり一様に制御されるように保証する、新たな正則化回帰手順を統合する。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的な強化学習アルゴリズムは、線形MDPにおいてほぼミニマックス最適なレグレットを達成できるか？
• RQ2 既存のLSVI-UCBスタイルのアルゴリズムを上回るレグレット低減を実現するには、分散推定をどのように改善できるか？
• RQ3 生成モデルや高価なオラクルに依存せずに、レグレット境界を既知の下界 $O(d\sqrt{H^3K})$ に近づけないか？
• RQ4 単調に減少する価値関数推定器は、推定精度とレグレット境界の向上にどのように寄与するか？
• RQ5 推定された価値関数クラスの複雑さをどのように制御すれば、一様収束を保証できるか？

主な発見

• 提案された LSVI-UCB++ アルゴリズムは、$\widetilde{O}(d\sqrt{H^3K})$ のレグレット境界を達成し、既知の下界から対数要因を除いて一致する。
• 分散に配慮した回帰スキームにより、Jin ら（2020）の $\widetilde{O}(\sqrt{d^3H^4K})$ のレグレットから $H$ 依存性を低減し、改善を実現する。
• 新しい分散推定器は真の価値関数の分散を直接標的にすることで、従来の手法よりもタイトな信頼集合を実現する。
• まれに切り替わる方策により、価値関数推定器の計算効率を維持しながら、一様な推定精度を保証する。
• 統合またはサンプリングオラクルに依存しないため、このようなオラクルが実行不能な一般の線形MDPに対しても適用可能である。
• 理論的枠組みは、同時に発表された研究（Hu ら、2022）における技術的欠陥を是正し、きめ細やかな分析を通じてアプローチの正しさを検証する。