[論文レビュー] On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces

Zhuoran Yang, Chi Jin+3 more|arXiv (Cornell University)|Nov 9, 2020

Adversarial Robustness in Machine Learning被引用数 1

ひとこと要約

本稿では、強化学習におけるカーネル関数または過パラメータ化されたニューラルネットワーク関数近似器を用いた、楽観的最小二乗価値反復アルゴリズムを提案する。状態空間のサイズに依存しない $ ilde{\mathcal{O}}(\delta_{\mathcal{F}} H^2 \sqrt{T})$ のレグレットバウンドを確立し、大規模な強化学習における関数近似の理論的利点を示している。

ABSTRACT

The classical theory of reinforcement learning (RL) has focused on tabular and linear representations of value functions. Further progress hinges on combining RL with modern function approximators such as kernel functions and deep neural networks, and indeed there have been many empirical successes that have exploited such combinations in large-scale applications. There are profound challenges, however, in developing a theory to support this enterprise, most notably the need to take into consideration the exploration-exploitation tradeoff at the core of RL in conjunction with the computational and statistical tradeoffs that arise in modern function-approximation-based learning systems. We approach these challenges by studying an optimistic modification of the least-squares value iteration algorithm, in the context of the action-value function represented by a kernel function or an overparameterized neural network. We establish both polynomial runtime complexity and polynomial sample complexity for this algorithm, without additional assumptions on the data-generating model. In particular, we prove that the algorithm incurs an $ ilde{\mathcal{O}}(\delta_{\mathcal{F}} H^2 \sqrt{T})$ regret, where $\delta_{\mathcal{F}}$ characterizes the intrinsic complexity of the function class $\mathcal{F}$, $H$ is the length of each episode, and $T$ is the total number of episodes. Our regret bounds are independent of the number of states, a result which exhibits clearly the benefit of function approximation in RL.

研究の動機と目的

• 大規模な状態空間における現代の関数近似と強化学習を組み合わせる際の理論的課題に取り組むこと。
• 関数近似に基づくRLにおける探索・活用のトレードオフと、計算的・統計的トレードオフを統合すること。
• データ生成モデルに対する制限のない仮定のもとで、多項式的実行時間とサンプル複雑性を維持する理論的根拠を持つアルゴリズムを開発すること。
• 効果的な関数近似を通じて、レグレットバウンドが状態数に依存しないことを示すこと。

提案手法

• 行動価値関数近似のための最小二乗価値反復アルゴリズムの楽観的修正を導入する。
• カーネル関数または過パラメータ化されたニューラルネットワークを用いて価値関数を表現し、大規模な状態空間における一般化を可能にする。
• 正則化された最小二乗更新と楽観的戦略を組み合わせ、学習過程での探索と活用のバランスを図る。
• 関数空間の固有の複雑性を捉える関数クラスの複雑度測度 $\delta_{\mathcal{F}}$ の下でアルゴリズムを分析する。
• 問題パラメータに対して多項式的にスケーリングする実行時間とサンプル複雑度のバウンドを導出する。
• 状態数に依存しないが、$\delta_{\mathcal{F}}$、エピソード長 $H$、総エピソード数 $T$ に依存するレグレットバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 データ生成モデルに追加の仮定を課さずに、楽観的関数近似アルゴリズムが大規模状態空間RLにおいて多項式的実行時間とサンプル複雑性を達成できるか？
• RQ2 関数クラスの固有の複雑度 $\delta_{\mathcal{F}}$ が関数近似RLにおけるレグレットに与える影響はいかほどか？
• RQ3 関数近似は、レグレットバウンドにおける状態数への依存度をどの程度低減できるか？
• RQ4 探索、関数近似、計算効率性の理論的相互作用は、強化学習においてどのように作用するか？
• RQ5 カーネル関数またはニューラルネットワーク関数近似器は、エピソード的強化学習におけるレグレット最小化の観点から理論的に正当化可能か？

主な発見

• 提案されたアルゴリズムは、問題のサイズと関数クラスの複雑度に応じて効率的にスケーリングする多項式的実行時間複雑度を達成する。
• アルゴリズムは $\tilde{\mathcal{O}}(\delta_{\mathcal{F}} H^2 \sqrt{T})$ のレグレットバウンドを被るが、これは状態数に依存しない。
• レグレットバウンドは、関数クラスの固有の複雑度 $\delta_{\mathcal{F}}$、エピソード長 $H$、総エピソード数 $T$ のみに依存する。
• データ生成モデルに追加の仮定を課さない分析が可能であり、この方法の一般性が向上する。
• この結果は、関数近似がスケーラブルなRLを、保証された性能とともに実現可能にする明確な理論的利点を示している。
• 楽観的メカニズムは、関数近似の存在下でも探索と活用のバランスを効果的に図り、優れた一般化性と収束性をもたらしている。