[論文レビュー] When Is Generalizable Reinforcement Learning Tractable?

Dhruv Malik, Yuanzhi Li+1 more|arXiv (Cornell University)|Jan 1, 2021

Reinforcement Learning in Robotics参考文献 48被引用数 6

ひとこと要約

本稿は、一般化可能強化学習（RL）が計算可能である条件を特定するため、2つの構造的条件を導入する。弱近接性（Weak Proximity）は、遷移関数と報酬関数が類似しており、最適軌道が共有されているにもかかわらず、効率的な一般化を保証しない。一方、強近接性（Strong Proximity）は、環境が共通の最適方策を共有する場合に、効率的な一般化を可能にする。主な貢献は、生成モデルを備え、個々の環境が効率的に解けるとしても、弱近接性下では一般化が標本非効率的であることを示す形式的下界の確立である。一方、強近接性では、保証された効率的学習が可能である。

ABSTRACT

Agents trained by reinforcement learning (RL) often fail to generalize beyond the environment they were trained in, even when presented with new scenarios that seem similar to the training environment. We study the query complexity required to train RL agents that generalize to multiple environments. Intuitively, tractable generalization is only possible when the environments are similar or close in some sense. To capture this, we introduce Weak Proximity, a natural structural condition that requires the environments to have highly similar transition and reward functions and share a policy providing optimal value. Despite such shared structure, we prove that tractable generalization is impossible in the worst case. This holds even when each individual environment can be efficiently solved to obtain an optimal linear policy, and when the agent possesses a generative model. Our lower bound applies to the more complex task of representation learning for the purpose of efficient generalization to multiple environments. On the positive side, we introduce Strong Proximity, a strengthened condition which we prove is sufficient for efficient generalization.

研究の動機と目的

• 一般化可能強化学習が計算的に tractable である構造的条件を特定すること。
• 遷移関数と報酬関数の類似性に加え、最適軌道の共有が、複数環境RLにおける効率的一般化を可能にするかを分析すること。
• 生成モデルと個々の環境が効率的に解けるとしても、弱近接性下では一般化が標本非効率的であることを示す形式的下界を確立すること。
• 強近接性を提案し、複数環境RLにおける効率的一般化の十分条件として検証すること。
• 古典的指標（例：シミュレーション補題）が現代のRL一般化設定においてなぜ不十分であるかを明確にすること。

提案手法

• 遷移関数と報酬関数が類似しており、最適軌道が共有されるという構造的条件「弱近接性」を導入する。
• 二分木構造の状態空間に特別な状態を導入し、弱近接性下でのクエリ複雑度の下界を示すハードインスタンスを構築する。
• 確率的議論を用いて、任意のアルゴリズムが重要な特別状態を特定するには非定数の数の状態をクエリする必要があることを示し、標本非効率性を示す。
• 共通の最適方策の共有を要件とすることで、弱近接性を強化し、強近接性を定義する。
• 遷移が決定的である場合に、強近接性を活用して効率的学習を達成するアルゴリズムを設計する。
• シミュレーション補題と全変動距離の境界を用いて、MDP間の差異と価値関数の差異を正式に関連付ける。

実験結果

リサーチクエスチョン

• RQ1 マルコフ決定過程（MDP）にどのような構造的条件が成立する場合に、一般化可能強化学習が計算可能となるか？
• RQ2 環境が類似した遷移関数・報酬関数と最適軌道を共有する場合（弱近接性）、効率的一般化は達成可能か？
• RQ3 古典的シミュレーション補題が、現代のRL一般化設定においてなぜ効率的一般化を保証しないのか？
• RQ4 弱近接性よりも強い構造的条件は、複数環境にわたる効率的一般化を可能にするか？
• RQ5 個々の環境が効率的に解けるし構造的に類似している場合でも、一般化のための表現学習は標本効率的か？

主な発見

• 統計的下界により、弱近接性下では、個々の環境が線形方策で解けること、生成モデルを備えていることにもかかわらず、一般化が効率的に行えないことが示された。
• 下界は、共通の最適方策と構造的類似性が存在するにもかかわらず、一般化のための表現学習が最悪ケースでは標本非効率的であることを示唆する。
• 古典的シミュレーション補題の指標（全変動距離と報酬差の組み合わせ）は、複数環境RLにおける効率的一般化に必要な条件を捉えていない。
• 共通の最適方策の共有を要件とする強近接性は、遷移が決定的な場合に、効率的一般化の十分条件であることが証明された。
• 下界の証明は、任意のアルゴリズムが重要な特別状態を特定するにはΩ(n)個の状態をクエリする必要があるという構成に依拠しており、本質的なクエリ複雑度を示している。
• ある方策下での2つのMDP間の価値差は、ξ_r H + ξ_tr Hで有界であり、ここでξ_rとξ_trはそれぞれ最大報酬差と最大遷移差を表す。これは、この文脈におけるシミュレーション補題の形式的表現である。