[論文レビュー] Reward-Free RL is No Harder Than Reward-Aware RL in Linear Markov Decision Processes

Andrew Wagenmaker, Yifang Chen+3 more|arXiv (Cornell University)|Jan 26, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

この論文は、線形マルコフ決定過程（MDP）において、報酬なし強化学習（RL）が、表形式の場合とは異なり、報酬ありRLほど根本的に難しいわけではないことを確立している。著者らは、計算的に効率的なアルゴリズムを提案し、サンプル複雑度 $ frac{ ilde{ cal{O}}(d^2H^5/ epsilon^2)}$ を達成した。これは、報酬ありRLの下界 $ Omega(d^2H^2/ epsilon^2)$ と一致しており、関数近似下で複雑度のギャップがないことを証明している。

ABSTRACT

Reward-free reinforcement learning (RL) considers the setting where the agent does not have access to a reward function during exploration, but must propose a near-optimal policy for an arbitrary reward function revealed only after exploring. In the the tabular setting, it is well known that this is a more difficult problem than reward-aware (PAC) RL -- where the agent has access to the reward function during exploration -- with optimal sample complexities in the two settings differing by a factor of $|\mathcal{S}|$, the size of the state space. We show that this separation does not exist in the setting of linear MDPs. We first develop a computationally efficient algorithm for reward-free RL in a $d$-dimensional linear MDP with sample complexity scaling as $\widetilde{\mathcal{O}}(d^2 H^5/ε^2)$. We then show a lower bound with matching dimension-dependence of $Ω(d^2 H^2/ε^2)$, which holds for the reward-aware RL setting. To our knowledge, our approach is the first computationally efficient algorithm to achieve optimal $d$ dependence in linear MDPs, even in the single-reward PAC setting. Our algorithm relies on a novel procedure which efficiently traverses a linear MDP, collecting samples in any given ``feature direction'', and enjoys a sample complexity scaling optimally in the (linear MDP equivalent of the) maximal state visitation probability. We show that this exploration procedure can also be applied to solve the problem of obtaining ``well-conditioned'' covariates in linear MDPs.

研究の動機と目的

• 表形式設定では存在するが、線形MDPでは報酬なしRLと報酬ありRLの間のギャップを埋めること。
• 線形MDPにおける報酬なしRLの計算的に効率的なアルゴリズムを、特徴次元$d$に関する最適依存性で開発すること。
• 線形MDPにおける報酬なしRLのサンプル複雑度が、報酬ありRLと$H$要因を除いて一致することを示すこと。
• 所望の許容誤差まで、すべての特徴方向に効率的にデータを収集する新しい探索手順を設計すること。
• 同じ探索戦略が、最小固有値がゼロから離れたwell-conditionedな共変量の構築を可能にすることを示すこと。

提案手法

• 所望の許容誤差まで、すべての特徴方向にサンプルを収集する「カバーング軌道」を生成する、新しい探索戦略を提案する。
• この探索手順を用いて、$d$次元の線形MDPで近似的に最適な方策を学習できる、計算的に効率的なアルゴリズムを設計する。
• アルゴリズムのサンプル複雑度は、線形MDP設定下で、最大状態訪問確率の逆数に最適にスケーリングする。
• 特徴空間を$\mathcal{X}_i$集合に階層的に分解することで、カバーの誤差を制御し、特徴空間全体のカバレッジを保証する。
• 各カバー集合内の特徴ベクトルの最大ノルムに基づく、新しい固有値下界の議論を適用し、well-conditionedな共変量を保証する。
• 探索手順を活用して、最小固有値が下限を持つ設計行列を構築し、その後続のポリシー学習にとって不可欠な要因を実現する。

実験結果

リサーチクエスチョン

• RQ1 表形式の場合とは異なり、線形MDPにおける報酬なしRLは、報酬ありRLほど根本的に難しいのか？
• RQ2 計算的に効率的なアルゴリズムが、線形MDPにおける報酬なしRLのサンプル複雑度において最適な$d$依存性を達成できるか？
• RQ3 報酬なしRLにおける探索手順は、最大状態訪問確率の逆数に最適にスケーリングするか？
• RQ4 同じ探索メカニズムを用いて、線形MDPにおけるwell-conditionedな共変量を構築できるか？
• RQ5 報酬ありRLにおける線形MDPの最適サンプル複雑度は何か？ そして、報酬なしRLのそれと一致するか？

主な発見

• 提案された報酬なしRLアルゴリズムのサンプル複雑度は、$\widetilde{\mathcal{O}}(d^2H^5/\epsilon^2)$ にスケーリングされ、特徴次元$d$に関する最適依存性を達成した。
• 報酬ありRLに対して下界$\Omega(d^2H^2/\epsilon^2)$ が確立され、報酬なし設定が$d$依存性において追加コストを負わないことが示された。
• アルゴリズムの探索手順は、最大状態訪問確率の逆数に最適にスケーリングされ、その逆数の二乗にスケーリングするのではなく、という点で最適である。
• 同じ探索メカニズムにより、最小固有値がゼロから離れたwell-conditionedな共変量の構築が可能となった。
• 本研究は、報酬なし、報酬あり、レギュレータ最小化の設定を含む、線形MDPにおける計算的に効率的なアルゴリズムの最適$d$依存性を、初めて解消した。
• 結果から、線形MDPでは、報酬関数を用いて探索を誘導しても、サンプル複雑度において漸近的な利点がないことが示唆される。