[論文レビュー] Infinite-Horizon Offline Reinforcement Learning with Linear Function Approximation: Curse of Dimensionality and Algorithm

Lin Chen, Bruno Scherrer+1 more|arXiv (Cornell University)|Mar 17, 2021

Reinforcement Learning in Robotics参考文献 28被引用数 4

ひとこと要約

本稿は、無限時間枠のオフライン強化学習における線形関数近似について、基本的なサンプル複雑度の下界を確立し、$d\gamma^2 > 1$ のとき次元 $d$ に対して指数関数的依存が生じることを示した。また、低分布シフト仮定の下で、多項式的サンプル複雑度を達成するアルゴリズムを提案し、有利な状況下での次元の呪いを解消した。

ABSTRACT

In this paper, we investigate the sample complexity of policy evaluation in infinite-horizon offline reinforcement learning (also known as the off-policy evaluation problem) with linear function approximation. We identify a hard regime $dγ^{2}>1$, where $d$ is the dimension of the feature vector and $γ$ is the discount rate. In this regime, for any $q\in[γ^{2},1]$, we can construct a hard instance such that the smallest eigenvalue of its feature covariance matrix is $q/d$ and it requires $Ω\left(\frac{d}{γ^{2}\left(q-γ^{2} ight)\varepsilon^{2}}\exp\left(Θ\left(dγ^{2} ight) ight) ight)$ samples to approximate the value function up to an additive error $\varepsilon$. Note that the lower bound of the sample complexity is exponential in $d$. If $q=γ^{2}$, even infinite data cannot suffice. Under the low distribution shift assumption, we show that there is an algorithm that needs at most $O\left(\max\left\{ \frac{\left\Vert θ^π ight\Vert _{2}^{4}}{\varepsilon^{4}}\log\frac{d}δ,\frac{1}{\varepsilon^{2}}\left(d+\log\frac{1}δ ight) ight\} ight)$ samples ($θ^π$ is the parameter of the policy in linear function approximation) and guarantees approximation to the value function up to an additive error of $\varepsilon$ with probability at least $1-δ$.

研究の動機と目的

• 無限時間枠設定における線形関数近似を用いたオフライン強化学習の根本的なサンプル複雑度の限界を理解すること。
• 特徴次元 $d$ に対してサンプル複雑度が指数的に大きくなる「困難な領域」を特定すること。
• 特徴共分散行列の最小固有値と割引率 $\gamma$ に依存する、タイトなサンプル複雑度下界を確立すること。
• 低分布シフト仮定の下で、証明可能にサンプル効率の良いアルゴリズムを設計し、多項式的サンプル複雑度を保証すること。
• 下界と上界を一致させることで、困難な例が低分布シフト条件を満たさないことを示し、矛盾を避けること。

提案手法

• 任意の $q \in [\gamma^2, 1]$ に対して、特徴共分散行列の最小固有値が $q/d$ であるような、オフライン方策評価の困難な例を構築する。
• $\varepsilon$-精度な価値関数近似に必要なサンプル数の下界 $\Omega\left(\frac{d}{\gamma^2(q - \gamma^2)\varepsilon^2}\exp(\Theta(d\gamma^2))\right)$ を導出する。
• 低分布シフト仮定の下で、最小二乗方策評価（LSPE）アルゴリズムを導入する。
• ベルマン作用素と特徴共分散行列を含む再帰的誤差分解を用いて、LSPEアルゴリズムを分析する。
• 濃度不等式とスペクトルバインディングを用いて推定誤差を制御し、低分布シフトを活用して適切に条件付けられた特徴行列を保証する。
• 高確率 $1 - \delta$ で、サンプル複雑度上界 $O\left(\max\left\{\frac{\|\theta^\pi\|_2^4}{\varepsilon^4}\log\frac{d}{\delta}, \frac{1}{\varepsilon^2}(d + \log\frac{1}{\delta})\right\}\right)$ を導出する。

実験結果

リサーチクエスチョン

• RQ1 無限時間枠設定における線形関数近似を用いたオフライン強化学習の根本的なサンプル複雑度の限界は何か？
• RQ2 特徴共分散行列の最小固有値は、オフライン方策評価におけるサンプル複雑度にどのように影響するか？
• RQ3 線形関数近似を用いたオフライン強化学習で、次元の呪いを回避できる条件は何か？
• RQ4 低分布シフトのような現実的な仮定の下で、証明可能に効率の良いアルゴリズムを設計できるか？
• RQ5 下界と上界の間にギャップがあるか。もしあるならば、どのような構造的仮定がそれを解消するか？

主な発見

• $d\gamma^2 > 1$ のとき、線形関数近似を用いたオフライン方策評価のサンプル複雑度は、少なくとも $\Omega\left(\frac{d}{\gamma^2(q - \gamma^2)\varepsilon^2}\exp(\Theta(d\gamma^2))\right)$ であり、これは $d$ に対して指数関数的である。
• 特徴共分散行列の最小固有値が $\gamma^2/d$ である場合、無限のデータでも正確な価値関数近似を保証できない。これは先行研究の結果を回復する。
• 低分布シフト仮定の下で、LSPEアルゴリズムは上界 $O\left(\max\left\{\frac{\|\theta^\pi\|_2^4}{\varepsilon^4}\log\frac{d}{\delta}, \frac{1}{\varepsilon^2}(d + \log\frac{1}{\delta})\right\}\right)$ のサンプル数を達成する。
• $\|\theta^\pi\|_2 \leq O(\sqrt{d})$ のとき、サンプル複雑度は $O\left(\frac{d^2}{\varepsilon^4}\log\frac{d}{\delta}\right)$ に低下し、これは $d$ および $1/\varepsilon$ に対して多項式的である。
• 下界を達成するための困難な例は、低分布シフト仮定を満たさないため、下界と上界の整合性が保証される。
• $d\gamma^2 > 1$ の領域では、下界における指数的依存は避けがたく、線形関数近似が高次元のオフライン強化学習において根本的な制限をもたらすことを示している。