[論文レビュー] Frequentist Regret Bounds for Randomized Least-Squares Value Iteration

Andrea Zanette, David Brandfonbrener+3 more|arXiv (Cornell University)|Nov 1, 2019

Advanced Bandit Algorithms Research参考文献 34被引用数 17

ひとこと要約

この論文は、線形関数近似を用いた有限時刻強化学習における、ランダム化最小二乗価値反復（RLSVI）の楽観的初期化バリエーションを提案する。低ランクの遷移ダイナミクスの下で、$ frac{1}{2}$の頻度論的レジーットバウンド $ frac{1}{2}$の $ frac{1}{2}$を確立し、大規模なMDPにおける関数近似を伴うランダム化探索の理論的保証を提供する。

ABSTRACT

We consider the exploration-exploitation dilemma in finite-horizon reinforcement learning (RL). When the state space is large or continuous, traditional tabular approaches are unfeasible and some form of function approximation is mandatory. In this paper, we introduce an optimistically-initialized variant of the popular randomized least-squares value iteration (RLSVI), a model-free algorithm where exploration is induced by perturbing the least-squares approximation of the action-value function. Under the assumption that the Markov decision process has low-rank transition dynamics, we prove that the frequentist regret of RLSVI is upper-bounded by $\widetilde O(d^2 H^2 \sqrt{T})$ where $ d $ are the feature dimension, $ H $ is the horizon, and $ T $ is the total number of steps. To the best of our knowledge, this is the first frequentist regret analysis for randomized exploration with function approximation.

研究の動機と目的

• 大規模強化学習における関数近似を伴うランダム化探索アルゴリズムの頻度論的レジーット解析の欠如に取り組む。
• RLSVIのような実験的に効果的であるが非表形式設定における理論的根拠となるレジーットバウンドと、実用的でないアルゴリズムの間のギャップを埋める。
• 有限時刻MDPにおける楽観的戦略と線形関数近似を組み合わせた、証明可能に効率的な探索メカニズムを提供する。
• 表形式MDPを超えて、構造的かつ高次元の状態空間におけるトムソン・サブスクリプションスタイル探索の理論的理解を拡張する。
• 低ランクダイナミクス下で、特徴次元 $d$、時刻 $H$、総ステップ数 $T$ に対して多項式スケーリングするレジーットバウンドを確立する。

提案手法

• 最小二乗推定値への摂動をスケーリングし、一定確率で楽観的性質を保証するRLSVIの楽観的初期化バリエーションを提案する。
• 特徴共分散行列の逆行列に比例する分散を持つガウスノイズを用い、推定誤差を上回るように調整する。
• 自己正規化マルティングル型集中不等式（補題11）を用いて、推定誤差の時間的増大を制御する。
• 被覆数の議論（補題15）と特徴ノルムの境界（補題13）を用いて、高次元パrameter空間における不確実性を管理する。
• 価値反復ステップ全体にわたる摂動の蓄積を考慮した、修正された信頼集合構築法を導入する。
• シェルマン＝モリソンの公式を用いて、各更新で $O(d^2)$ 時間で逆共分散行列を更新することで、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 関数近似を伴う非表形式設定におけるRLSVIによるランダム化探索は、理論的に正当化可能か？
• RQ2 線形関数近似と楽観的摂動を用いた場合、ランダム化価値反復アルゴリズムの頻度論的レジーットは何か？
• RQ3 低ランクダイナミクス下で、特徴次元 $d$、時刻 $H$、ステップ数 $T$ に対してレジーットはどのようにスケーリングされるか？
• RQ4 摂動の伝播を考慮しても、複数の価値反復ステップにわたり楽観的性質を維持できるか？
• RQ5 状態数に依存するのではなく、$d$ と $H$ に対して多項式スケーリングするレジーットバウンドを達成することは可能か？

主な発見

• 提案されたアルゴリズムは、低ランク遷移ダイナミクス下で頻度論的レジーットバウンド $\tfrac{1}{2}$を達成する。
• これは、有限時刻MDPにおける関数近似を伴うランダム化探索に対して、初めてのレジーットバウンドの結果である。
• 解析から、楽観的性質を保証するためには摂動が推定誤差を上回る必要があることが示され、線形バンディット理論と整合的である。
• 誤差蓄積を相殺するように摂動分散を慎重に調整することで、タイムステップ全体にわたり楽観的性質の確率が維持される。
• レジーットバウンドは、楽観的 $Q$-学習アルゴリズムと比較して $ frac{1}{2}$の要因だけ悪く、このギャップを埋められるかは未解決の問題のまま残っている。
• ランク1更新を活用することで、各エピソードあたり $O(d^2AHK^2)$ の実行時間と $O(dAHK)$ のメモリを維持し、計算効率を保つ。