[論文レビュー] Instance-dependent $\ell_\infty$-bounds for policy evaluation in tabular reinforcement learning

Ashwin Pananjady, Martin J. Wainwright|arXiv (Cornell University)|Sep 19, 2019

Reinforcement Learning in Robotics参考文献 61被引用数 6

ひとこと要約

この論文は、新しいleave-one-out分解技術を用いて、表形式のマークフ・リワード過程（MRP）における方策評価のためのプラグイン推定とそのロバストな変種を用いて、インスタンス依存の $π\infty$-ノルムバインディングを確立する。非漸近的保証が得られ、未知の問題インスタンスとデータに依存する量に依存する。自然なMRPの部分クラスにおいて、定数要因を除いてミニマックス最適性が証明されている。

ABSTRACT

Markov reward processes (MRPs) are used to model stochastic phenomena arising in operations research, control engineering, robotics, and artificial intelligence, as well as communication and transportation networks. In many of these cases, such as in the policy evaluation problem encountered in reinforcement learning, the goal is to estimate the long-term value function of such a process without access to the underlying population transition and reward functions. Working with samples generated under the synchronous model, we study the problem of estimating the value function of an infinite-horizon, discounted MRP on finitely many states in the $\ell_\infty$-norm. We analyze both the standard plug-in approach to this problem and a more robust variant, and establish non-asymptotic bounds that depend on the (unknown) problem instance, as well as data-dependent bounds that can be evaluated based on the observations of state-transitions and rewards. We show that these approaches are minimax-optimal up to constant factors over natural sub-classes of MRPs. Our analysis makes use of a leave-one-out decoupling argument tailored to the policy evaluation problem, one which may be of independent interest.

研究の動機と目的

• 有限ホライズンで割引付きのマークフ・リワード過程（MRP）における方策評価の非漸近的・インスタンス依存の $π\infty$-ノルム誤差バインディングを提供すること。
• 生成モデル（シミュレータベース）設定下での標準的プラグイン推定とそのロバストな変種の性能を分析すること。
• 提案された推定の最適性を検証するため、自然なMRPの部分クラスにおけるミニマックス下界を確立すること。
• 方策評価問題に特化した新しいleave-one-out分解アプローチを開発すること。これは統計的学習分野において独立に価値がある可能性がある。

提案手法

• 観測された状態遷移と報酬から遷移関数と報酬関数を推定し、推定されたMRPの価値関数を計算するプラグイン推定を提案する。
• モデル誤差指定や重尾ノイズ下でも安定性を向上させるため、プラグイン推定のロバストな変種を導入する。
• 推定の $π\infty$-ノルム誤差を分析するためにleave-one-out分解技術を用い、インスタンス依存およびデータ依存のバインディングを可能にする。
• 未知の問題インスタンス（例：遷移構造、報酬分散）と観測可能なデータ量に依存する非漸近的バインディングを導出する。
• ベルンシュタイン型の集中不等式と極値理論の結果（例：二項確率変数の最大偏差）を用いて推定誤差をバインドする。
• D/3個の3状態MRPのコピーから構成された困難なインスタンスを丁寧に構築することでミニマックス下界を確立し、提案されたバインディングが定数要因を除いてタイトであることを示している。

実験結果

リサーチクエスチョン

• RQ1 方策評価におけるプラグイン推定とロバスト推定の推定誤差は、MRPの特定のインスタンス（例：遷移構造、報酬分散、割引率）にどのように依存するか？
• RQ2 生成モデル下で、表形式MRPにおける方策評価に対して、非漸近的・インスタンス依存の $π\infty$-ノルムバインディングを導出可能か？
• RQ3 提案されたプラグイン推定は、自然なMRPの部分クラスにおいてミニマックス最適（定数要因を除いて）か？
• RQ4 leave-one-out分解技術は、方策評価のためのより鋭いインスタンス固有の誤差解析を可能にする役割を果たすか？
• RQ5 データ依存のバインディングは、グローバルな最悪ケースバインディングと比較して、標本複雑度と実用的関連性の面でどのように異なるか？

主な発見

• プラグイン推定は、$\zeta = \|\theta^*\|_{\text{span}}$ とすると、$\frac{\zeta \gamma}{N}$ のスケーリングを示すインスタンス依存の $π\infty$-誤差バインディングを達成し、自然なMRPクラスにおいて定数要因を除いてミニマックス最適である。
• ロバスト推定は安定性を向上させ、特に分散が大きくまたは遷移確率が低い状況でも同様のインスタンス依存誤差率を達成する。
• 3状態MRPのD/3個のコピーから構成された困難なインスタンスにより、プラグイン推定の $π\infty$-誤差が期待値で $\frac{4}{9} \cdot \frac{\zeta \gamma}{N}$ で下界に抑えられることを示し、上界のタイトさを確認した。
• 解析により、$N \succsim \frac{1}{1-\gamma}$ の領域では、主な誤差項が $\frac{\| (I - \gamma P)^{-1} \sigma(\theta^*) \|_\infty}{\sqrt{N}} \sim \frac{1}{\sqrt{N}} \left( \frac{1}{1-\gamma} \right)^{1.5 - \alpha}$ と表現され、遷移行列の固有値特性に依存することが判明した。
• leave-one-out分解技術により、状態間での推定誤差の最大偏差がより鋭く制御され、標準的な集中不等式よりもタイトなバインディングが得られた。
• 観測された遷移と報酬サンプルから導出されるデータ依存バインディングは、実用的に評価可能であり、有限標本領域における意味のある誤差制御を提供することが示された。