[論文レビュー] Reinforcement Learning in Feature Space: Matrix Bandit, Kernels, and Regret Bound

Lin F. Yang, Mengdi Wang|arXiv (Cornell University)|May 24, 2019

Reinforcement Learning in Robotics被引用数 95

ひとこと要約

MatrixRLを紹介。オンラインRLアルゴリズムで特徴空間の低次元転移コアを学習し（カーネル化版も）、特徴次元に依存するほぼ最適な後悔境界を達成する。状態- action空間のサイズではなく。

ABSTRACT

Exploration in reinforcement learning (RL) suffers from the curse of dimensionality when the state-action space is large. A common practice is to parameterize the high-dimensional value and policy functions using given features. However existing methods either have no theoretical guarantee or suffer a regret that is exponential in the planning horizon $H$. In this paper, we propose an online RL algorithm, namely the MatrixRL, that leverages ideas from linear bandit to learn a low-dimensional representation of the probability transition model while carefully balancing the exploitation-exploration tradeoff. We show that MatrixRL achieves a regret bound ${O}\\big(H^2d\\log T\\sqrt{T}\\big)$ where $d$ is the number of features. MatrixRL has an equivalent kernelized version, which is able to work with an arbitrary kernel Hilbert space without using explicit features. In this case, the kernelized MatrixRL satisfies a regret bound ${O}\\big(H^2\\widetilde{d}\\log T\\sqrt{T}\\big)$, where $\\widetilde{d}$ is the effective dimension of the kernel space. To our best knowledge, for RL using features or kernels, our results are the first regret bounds that are near-optimal in time $T$ and dimension $d$ (or $\\widetilde{d}$) and polynomial in the planning horizon $H$.

研究の動機と目的

• 特徴表現を活用して探索効率を理論的に保証することでRLにおける次元の呪いに対処する。
• 回帰と楽観的計画を通じて低次元の転移コアを学習するオンラインRLアルゴリズムを開発する。
• 無限次元の特徴表現を扱うために、カーネル空間への適用拡張。
• 状態-行動空間のサイズではなく、特徴数（または有効なカーネル次元）にスケールする後悔境界を提供する。

提案手法

• 遷移ダイナミクスをコア行列 M* でモデル化し、P(·|s,a)=φ(s,a)ᵀ M* ψ(·) とする。
• リッジ回帰を用いて M* を推定し、(2) のように M_n を形成する。
• 探索と利用のバランスを取るため、行列 confidence ball B_n により楽観的Q関数を構築する（式 Eq.4）。
• 二つの後悔境界を提示する：定理1は 2→1 行列ノルム、定理2は フロベニウスノルムのボールを用い、いずれも O(H² d^{3/2} √T) または O(H² d √T) の後悔を生む。
• MatrixRL を特徴を明示的に置換して k_φ と k_ψ というカーネルでカーネル化し、KernelMatrixRL を得る。後悔は O(H² ẑ√T) で、ẑ は有効なカーネル次元（定理3）となる。
• 閉形式の信頼上限を含む実装上の実用的メモと、空間計算量 O(d²) を提供する。

実験結果

リサーチクエスチョン

• RQ1 特徴表現を活用して探索効率を理論的に保証することでRLにおける次元の呪いに対処する。
• RQ2 回帰と楽観的計画を通じて低次元の転移コアを学習するオンラインRLアルゴリズムを開発する。
• RQ3 無限次元の特徴表現を扱うために、カーネル空間への適用拡張。
• RQ4 状態-行動空間のサイズではなく、特徴数（または有効なカーネル次元）にスケールする後悔境界を提供する。
• RQ5 実務的に高次元問題に対して実装可能か。

主な発見

• MatrixRL は 定理1 で O(H² d log T √T) の後悔境界、より強い正則性の下で定理2 による O(H² d √T) を達成する。
• KernelMatrixRL は 有効カーネル次元 ẑ を用いて O(H² ẑ log T √T) の後悔を達成する（定理3）。
• 後悔境界は T と次元 d（または ẑ）でほぼ最適で、プランニング時間 H に対して多項式的、状態-行動空間のサイズには依存しない。
• アルゴリズムは空間 O(d²) で動作し、各ステップで閉形式の更新を行う。
• カーネル化された版はカーネルを介して無限次元空間を扱うことができ、有効次元に対して T に対してサブ線形の後悔を維持する。