[論文レビュー] Bilinear Classes: A Structural Framework for Provable Generalization in RL

Simon S. Du, Sham M. Kakade+5 more|arXiv (Cornell University)|Mar 19, 2021

Reinforcement Learning in Robotics参考文献 41被引用数 21

ひとこと要約

この論文は、関数近似を用いた証明可能でサンプル効率の良い強化学習を可能にする、新たな構造的枠組み「Bilinear Classes」を導入する。ベルマン誤差を二重線形形式としてモデル化することにより、既存の効率的RLモデルを統一し、新たなモデル（例：Linear $Q^*/V^*$ およびRKHSに基づくモデル）を導入する。この枠組みは、教師あり学習の一般化誤差に依存する多項式的サンプル複雑性を達成し、情報理論的量を用いて無限次元設定へ拡張する。

ABSTRACT

This work introduces Bilinear Classes, a new structural framework, which permit generalization in reinforcement learning in a wide variety of settings through the use of function approximation. The framework incorporates nearly all existing models in which a polynomial sample complexity is achievable, and, notably, also includes new models, such as the Linear $Q^*/V^*$ model in which both the optimal $Q$-function and the optimal $V$-function are linear in some known feature space. Our main result provides an RL algorithm which has polynomial sample complexity for Bilinear Classes; notably, this sample complexity is stated in terms of a reduction to the generalization error of an underlying supervised learning sub-problem. These bounds nearly match the best known sample complexity bounds for existing models. Furthermore, this framework also extends to the infinite dimensional (RKHS) setting: for the the Linear $Q^*/V^*$ model, linear MDPs, and linear mixture MDPs, we provide sample complexities that have no explicit dependence on the explicit feature dimension (which could be infinite), but instead depends only on information theoretic quantities.

研究の動機と目的

• 広範な強化学習モデルを含む、証明可能なサンプル効率性を備えた一般構造的枠組みの開発。
• ベルマンランク、ワitnessランク、ベルマン完全性といった既存の効率的RL枠組みを、より一般な条件の下で統一すること。
• Linear $Q^*/V^*$ やRKHSに基づくMDPなど、従来の枠組みが失敗する新たなモデルクラスへのサンプル効率の拡張。
• 教師あり学習の一般化誤差に依存するサンプル複雑性バウンドの提供により、さまざまな関数近似設定にわたる移譲可能な分析を可能にすること。
• 有限次元結果を、臨界情報ゲインなどの情報理論的測度を用いて無限次元関数空間へ拡張すること。

提案手法

• ベルマン誤差が仮説クラスの関数と識別クラスの関数の間で二重線形形式として表現可能な構造的条件「Bilinear Classes」を提案する。
• 二重線形最適化フレームワークを用いてベルマン誤差を最小化するBiLin-UCBアルゴリズムを設計し、二重線形構造に基づく信頼区間を導出する。
• RLのサンプル複雑性を、教師あり学習サブ問題の一般化誤差に還元し、既知の一般化バウンドの移譲を可能にする。
• 無限次元設定における明示的な特徴次元依存性を排除する非パrametricな複雑性測度としての臨界情報ゲインを導入する。
• Linear $Q^*/V^*$、RKHS線形MDP、線形混合MDPといった新規モデルにフレームワークを適用し、明示的な特徴次元に依存しないサンプル複雑性バウンドを示す。
• 従来の枠組み（例：ベルマンランク、ワitnessランク）を包含するとともに、要因分解MDP や低占有量複雑性MDPといったそれらがカバーできないモデルに対しても拡張可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 一貫した構造的枠組みが、既存の証明可能なサンプル効率性を有するRLモデルを統一し、新たなモデルへ拡張可能か？
• RQ2 多様な関数近似設定に適用可能な形で、RLのサンプル複雑性を教師あり学習の一般化誤差に還元できるか？
• RQ3 明示的な特徴次元依存性なしに、無限次元関数空間（例：RKHS）においてもサンプル効率を達成できるか？
• RQ4 Linear $Q^*/V^*$ のような新たなモデルクラスが、本フレームワーク下では証明可能に学習可能であるが、従来の枠組みでは学習不能であるか？
• RQ5 ベルマンランクやワitnessランクがカバーできないモデル（例：要因分解MDP や低占有量複雑性MDP）を、本フレームワークが捉えることができるか？

主な発見

• Bilinear Classesフレームワークはベルマンランクやワitnessランクを一般化し、多項式的サンプル複雑性を有する既知のすべてのモデルクラスを包含する。
• BiLin-UCBアルゴリズムは、教師あり学習サブ問題の一般化誤差にのみ依存する多項式的サンプル複雑性を達成する。
• Linear $Q^*/V^*$、線形MDP、線形混合MDPに対して、明示的な特徴次元に依存しない情報理論的量（例：臨界情報ゲイン）に依存するサンプル複雑性バウンドを提供する。
• フレームワークは無限次元RKHS設定へ拡張可能であり、明示的な次元依存性なしに非パrametricな一般化を可能にする。
• 本フレームワークはLinear $Q^*/V^*$ モデルなど、従来の枠組みではカバーされず、本構造下で証明可能に学習可能な新たなモデルを捉えることができる。
• 理論的分析により、ベルマンランクやワitnessランクがカバーしないモデル（例：要因分解MDP や低占有量複雑性MDP）が本フレームワークに含まれており、これらのケースにおいて従来手法よりもタイトなサンプル複雑性バウンドを提供することが示された。