[論文レビュー] Sample Efficient Reinforcement Learning via Low-Rank Matrix Estimation

Devavrat Shah, Dogyoon Song+2 more|arXiv (Cornell University)|Jun 11, 2020

Reinforcement Learning in Robotics参考文献 4被引用数 12

ひとこと要約

本稿では、連続的状態および行動空間における最適Q関数を学習するために、低ランク行列推定を活用するサンプル効率の良い強化学習アルゴリズムを提案する。Q関数をそのスペクトル分解によって表現し、その低ランク構造を活用することで、サンプル複雑度が $\widetilde{O}(\epsilon^{-(\max(d_1,d_2)+2)})$ に抑えられ、最適Q関数が低ランクである場合に古典的な非パラメトリックな境界に対して指数的改善を達成する。

ABSTRACT

We consider the question of learning $Q$-function in a sample efficient manner for reinforcement learning with continuous state and action spaces under a generative model. If $Q$-function is Lipschitz continuous, then the minimal sample complexity for estimating $ε$-optimal $Q$-function is known to scale as $Ω(\frac{1}{ε^{d_1+d_2 +2}})$ per classical non-parametric learning theory, where $d_1$ and $d_2$ denote the dimensions of the state and action spaces respectively. The $Q$-function, when viewed as a kernel, induces a Hilbert-Schmidt operator and hence possesses square-summable spectrum. This motivates us to consider a parametric class of $Q$-functions parameterized by its "rank" $r$, which contains all Lipschitz $Q$-functions as $r o \infty$. As our key contribution, we develop a simple, iterative learning algorithm that finds $ε$-optimal $Q$-function with sample complexity of $\widetilde{O}(\frac{1}{ε^{\max(d_1, d_2)+2}})$ when the optimal $Q$-function has low rank $r$ and the discounting factor $γ$ is below a certain threshold. Thus, this provides an exponential improvement in sample complexity. To enable our result, we develop a novel Matrix Estimation algorithm that faithfully estimates an unknown low-rank matrix in the $\ell_\infty$ sense even in the presence of arbitrary bounded noise, which might be of interest in its own right. Empirical results on several stochastic control tasks confirm the efficacy of our "low-rank" algorithms.

研究の動機と目的

• 連続的状態および行動空間における強化学習の次元の呪いに対処する。
• 低次元の特徴や表現に関する事前知識を必要としないデータ効率の良い学習手法を開発する。
• Q関数のスペクトル的性質に基づく普遍的なパラメトリック表現を提供し、低ランク構造を活用する。
• 真のQ関数が低ランクである場合に、$\epsilon$-最適なQ関数を学習するための証明可能な改善されたサンプル複雑度を達成する。
• 任意の有界ノイズ下で低ランク行列の $\ell_\infty$-精度回復を保証する新しい行列推定アルゴリズムを設計する。

提案手法

• 最適Q関数を一般化された特異値分解を用いた核由来のヒルベルト＝シュミット作用素として表現する：$Q^*(s,a) = \sum_{i=1}^\infty \sigma_i f_i(s)g_i(a)$。
• Q関数のランク $r$ をパラメータ化し、$r \to \infty$ のときすべてのリプシッツ連続Q関数を含むパラメトリッククラスを構築する。
• 任意の有界ノイズ下で $\ell_\infty$-ノルムにおいて低ランク行列を推定する新しい行列推定アルゴリズムを開発する。
• 生成モデルからの反復的サンプリングにより、サンプルされた状態・行動ペアにおけるQ値行列を構築する。
• 低ランク行列推定（例：核ノルムまたはソフトスリーピングを用いて）を適用し、元のQ関数の構造を回復する。
• 行列推定ステップを強化学習ループに統合し、最小限のサンプルでQ関数推定を段階的に改善する。

実験結果

リサーチクエスチョン

• RQ1 Q関数が低次元構造を持つ場合に、データ効率の良い学習を可能にする普遍的なQ関数表現を開発できるか？
• RQ2 最適Q関数が低ランクである場合に、$\epsilon$-最適なQ関数を学習するために必要な最小サンプル複雑度は何か？
• RQ3 任意の有界ノイズ下で、低ランク行列の $\ell_\infty$-精度回復を達成できる行列推定アルゴリズムは存在するか？
• RQ4 連続的制御タスクにおけるサンプル効率と誤差収束の観点から、本手法は既存の手法とどのように比較されるか？
• RQ5 割引因子 $\gamma$ が変化しても、理論的サンプル複雑度の改善は維持されるか？

主な発見

• 最適Q関数が低ランク $r$ であり、$\gamma$ が閾値未満である場合、提案手法は $\epsilon$-最適なQ関数を学習するにあたり $\widetilde{O}(\epsilon^{-(\max(d_1,d_2)+2)})$ のサンプル複雑度を達成する。
• このサンプル複雑度は、一般のリプシッツ連続Q関数に対して古典的なミニマックス下界 $\Omega(\epsilon^{-(d_1+d_2+2)})$ に対して指数的改善を示す。
• Mountain Car、Double Integrator、Cart-Pole、Acrobot タスクにおける実験結果から、$\ell_\infty$ 及び平均誤差の両面で顕著なサンプル効率の向上が確認され、収束が速い。
• Soft-Impute や Nuclear Norm といったベースライン行列推定手法に比べ、本手法はサンプル複雑度と誤差低減の両面で優れている。
• Inverted Pendulum タスクにおいて $\gamma = 0.5$ で実施したアブレーションスタディにより、$\gamma$ 依存性の理論的妥当性が確認された。
• 本手法で開発された新しい行列推定アルゴリズムは、任意の有界ノイズ下でも $\ell_\infty$-ノルムにおいて低ランク行列を正確に回復でき、独立した興味深い結果である。