[論文レビュー] Is a Good Representation Sufficient for Sample Efficient Reinforcement Learning?

Simon S. Du, Sham M. Kakade+2 more|arXiv (Cornell University)|Oct 7, 2019

Reinforcement Learning in Robotics参考文献 47被引用数 32

ひとこと要約

この論文は、良好な表現（representation）だけではサンプル効率的な強化学習に不十分であることを示しており、値ベース、モデルベース、方策ベースの手法に対しても、表現がほぼ最適であっても、サンプル複雑性に指数関数的下界が存在することを確立している。主な貢献は、効率的学習を可能にするために、表現の次元が厳密なハードしきい値を満たす必要があることを示したことである。これは近似誤差を超える根本的な統計的制限を明らかにする。

ABSTRACT

Modern deep learning methods provide effective means to learn good representations. However, is a good representation itself sufficient for sample efficient reinforcement learning? This question has largely been studied only with respect to (worst-case) approximation error, in the more classical approximate dynamic programming literature. With regards to the statistical viewpoint, this question is largely unexplored, and the extant body of literature mainly focuses on conditions which permit sample efficient reinforcement learning with little understanding of what are necessary conditions for efficient reinforcement learning. This work shows that, from the statistical viewpoint, the situation is far subtler than suggested by the more traditional approximation viewpoint, where the requirements on the representation that suffice for sample efficient RL are even more stringent. Our main results provide sharp thresholds for reinforcement learning methods, showing that there are hard limitations on what constitutes good function approximation (in terms of the dimensionality of the representation), where we focus on natural representational conditions relevant to value-based, model-based, and policy-based learning. These lower bounds highlight that having a good (value-based, model-based, or policy-based) representation in and of itself is insufficient for efficient reinforcement learning, unless the quality of this approximation passes certain hard thresholds. Furthermore, our lower bounds also imply exponential separations on the sample complexity between 1) value-based learning with perfect representation and value-based learning with a good-but-not-perfect representation, 2) value-based learning and policy-based learning, 3) policy-based learning and supervised learning and 4) reinforcement learning and imitation learning.

研究の動機と目的

• 統計的観点から、良好な表現がサンプル効率的強化学習に十分であるかどうかを調査すること。
• 先行研究で調べられていた十分条件を超えて、RLにおけるサンプル効率性の必要条件を同定すること。
• 良好な表現を備えた値ベース、モデルベース、方策ベースのRLアルゴリズムにおける、鋭い指数的下界を確立すること。
• 異なるRLパラダイムおよび関連する学習設定間での指数的分離を示すこと。
• すなわち、次元とマージン要件を厳密に満たさない限り、ほぼ最適な表現でも効率的学習を可能にしないことの実証すること。

提案手法

• 指数関数的に多くの状態を有する二分木構造のMDP族を構築し、一般化の困難さを生み出す。
• 次元が$d$に比例する高次元特徴空間を用い、次元の呪いを活用する。
• 単位球面上の$ riangle$-分離ネットを用いて、マージン$ riangle$を持つ線形分離可能最適方策を構築する。
• 標準的な$ riangle$-ネット下界を適用し、互いに分離された指数的サイズのベクトル集合の存在を示す。
• 仮定4.5（マージン付き線形方策）のもとで、値ベース、モデルベース、方策ベースRLにおけるサンプル複雑性の指数的下界を導出する。
• 設定間のサンプル複雑性を比較：完全な表現 vs. 良好だが完璧ではない表現、値ベース vs. 方策ベース、RL vs. IL、RL vs. 指示学習。

実験結果

リサーチクエスチョン

• RQ1 統計的観点から、良好な表現がサンプル効率的強化学習に十分であるか？
• RQ2 近似誤差を超えて、効率的RLのための表現に必要な条件は何か？
• RQ3 良好な表現を備えた値ベース、モデルベース、方策ベースRLにおける、計画ホライズン$H$に伴うサンプル複雑性のスケーリングは？
• RQ4 異なるRLパラダイムおよび学習設定間で、どのような指数的分離が存在するか？
• RQ5 ほぼ最適な表現でも、RLにおいて指数的サンプル複雑性が生じる可能性はあるか？

主な発見

• 値ベース、モデルベース、方策ベースのRL手法に対し、良好な表現を備えた状態でも、サンプル複雑性に指数的下界が確立された。
• サンプル複雑性は計画ホライズン$H$に指数関数的に増加するため、良好な表現だけでは効率性が保証されない。
• 値ベースRLにおいて、完全な表現と良好だが完璧でない表現の間で指数的分離が生じる。
• 方策ベース学習は、最適$Q$関数が完全に表現可能であっても、値ベース学習よりも指数的に多くのサンプルを必要とする。
• 計画ホライズン$H > 1$のとき、強化学習のサンプル複雑性は指示学習よりも指数的に高いが、後者は前者の特殊ケースである。
• 強化学習と模倣学習の間には指数的分離が存在し、熟練者のデモンストレーションがサンプル複雑性を著しく低減することが示された。