[論文レビュー] Provably Efficient Reinforcement Learning with Linear Function Approximation Under Adaptivity Constraints

Tianhao Wang, Dongruo Zhou+1 more|arXiv (Cornell University)|Jan 6, 2021

Advanced Bandit Algorithms Research参考文献 30被引用数 5

ひとこと要約

本稿では、適応制約下における線形マルコフ決定過程（linear MDP）に対して、2つの証明可能に効率的な強化学習アルゴリズム—LSVI-UCB-Batch および LSVI-UCB-RareSwitch—を提案する。線形関数近似を活用し、バッチ更新またはまれなポリシー切り替えを最適化することで、完全に適応可能な LSVI-UCB アルゴリズムと同等のレグレットを達成しながら、ポリシー更新回数を著しく削減する。バッチ設定におけるタイトなレグレットバウンドが証明され、これが最適であることが示された。

ABSTRACT

We study reinforcement learning (RL) with linear function approximation under the adaptivity constraint. We consider two popular limited adaptivity models: the batch learning model and the rare policy switch model, and propose two efficient online RL algorithms for episodic linear Markov decision processes, where the transition probability and the reward function can be represented as a linear function of some known feature mapping. In specific, for the batch learning model, our proposed LSVI-UCB-Batch algorithm achieves an $ ilde O(\sqrt{d^3H^3T} + dHT/B)$ regret, where $d$ is the dimension of the feature mapping, $H$ is the episode length, $T$ is the number of interactions and $B$ is the number of batches. Our result suggests that it suffices to use only $\sqrt{T/dH}$ batches to obtain $ ilde O(\sqrt{d^3H^3T})$ regret. For the rare policy switch model, our proposed LSVI-UCB-RareSwitch algorithm enjoys an $ ilde O(\sqrt{d^3H^3T[1+T/(dH)]^{dH/B}})$ regret, which implies that $dH\log T$ policy switches suffice to obtain the $ ilde O(\sqrt{d^3H^3T})$ regret. Our algorithms achieve the same regret as the LSVI-UCB algorithm (Jin et al., 2019), yet with a substantially smaller amount of adaptivity. We also establish a lower bound for the batch learning model, which suggests that the dependency on $B$ in our regret bound is tight.

研究の動機と目的

• 頻繁なポリシー更新が非現実的である制限付き適応性の下で、線形MDPに対する効率的なオンライン強化学習アルゴリズムを開発すること。
• 高次元かつ連続状態空間におけるRL設定において、関数近似を用いてポリシー適応頻度を低減する課題に取り組むこと。
• バッチ学習およびまれなポリシー切り替えモデルの両方に対して、完全に適応可能なアルゴリズムと同等の性能を示す理論的レグレットバウンドを確立すること。
• バッチ学習モデルに対するレグレット下界を証明し、レグレットバウンドにおけるバッチ数依存性が最適であることを確認すること。

提案手法

• 定義されたバッチの終了時にのみポリシー更新を行う LSVI-UCB-Batch を提案。線形価値反復に上界信頼区間（UCB）を組み合わせた手法。
• 全スイッチ回数にグローバルな予算を設け、ポリシー切り替えのタイミングを適応的に選択する LSVI-UCB-RareSwitch を導入。UCBスタイルの信頼区間を用いて探索を維持。
• 次元 d の既知の特徴マッピングにおいて、遷移関数および報酬関数が線形であると仮定する線形関数近似を採用。
• 制約付きポリシー適応下での探索と活用のトレードオフを分析し、集中不等式と楽観的価値関数推定を用いてレグレットバウンドを導出。
• d次元特徴とHホライズンのエピソードを持つ、注意深く構築された線形MDPインスタンスを用いて、バッチ学習モデルの下界を確立。
• ミニマックス論法と情報理論的ツールを用いて、レグレットバウンドにおけるB依存性がタイトであることを証明し、最適性を確認。

実験結果

リサーチクエスチョン

• RQ1 線形MDPにおいて、完全に適応可能なRLアルゴリズムと同等のレグレットを達成しながら、ポリシー更新回数を著しく削減することは可能か？
• RQ2 線形関数近似RLにおいて、近似的に最適なレグレットを維持するために必要な最小のバッチ数またはポリシー切り替え回数は何か？
• RQ3 レグレットバウンドにおけるバッチ数またはスイッチ数依存性が最適であり、それがタイトであることを証明できるか？
• RQ4 実際の実験において、バッチ処理およびまれなスイッチアルゴリズムは、完全に適応可能なベースラインと比べてどのように性能を発揮するか？

主な発見

• LSVI-UCB-Batch は Õ(√(d³H³T) + dHT/B) のレグレットを達成し、完全に適応可能な LSVI-UCB アルゴリズムと同等の性能を得るには √(T/dH) 個のバッチで十分であることを示した。
• LSVI-UCB-RareSwitch は Õ(√(d³H³T[1+T/(dH)]^{dH/B})) のレグレットを達成し、dH log T 回のポリシー切り替えで、完全に適応可能なベースラインと同等の性能を達成できることを示した。
• LSVI-UCB-Batch のレグレットバウンドは、バッチ学習モデルに対する一致する下界により、対数要因を除いて最適であることが確認された。
• 実験結果から、LSVI-UCB-RareSwitch は訓練全体を通じて完全に適応可能な LSVI-UCB に非常に近い性能を維持している一方、LSVI-UCB-Batch は多くのエピソードを経てやっとその性能に近づくことが分かった。
• レグレットと適応性のトレードオフが実験的に検証された：バッチ数やスイッチ回数が少ないほどレグレットは高くなるが、提案手法は最小限の適応性で競争力のある性能を示した。