[論文レビュー] Model-free Representation Learning and Exploration in Low-rank MDPs

Aditya Modi, Jing‐Lin Chen+3 more|arXiv (Cornell University)|Feb 14, 2021

Reinforcement Learning in Robotics参考文献 38被引用数 12

ひとこと要約

本稿では、低ランクマルコフ決定過程（MDP）における、モデルフリーな表現学習および探索アルゴリズムを初めて提示する。特筆すべきは、完全なモデルダイナミクスを必要とせずに、証明可能にサンプル効率的な学習を可能にする、新しいミニマックス表現学習目的を導入したことである。本手法は、この目的を報酬フリー探索と組み合わせることで、一般関数近似を用いてスケーラビリティを達成するとともに、特徴クラスが列挙可能である場合には計算効率も確保する。

ABSTRACT

The low rank MDP has emerged as an important model for studying representation learning and exploration in reinforcement learning. With a known representation, several model-free exploration strategies exist. In contrast, all algorithms for the unknown representation setting are model-based, thereby requiring the ability to model the full dynamics. In this work, we present the first model-free representation learning algorithms for low rank MDPs. The key algorithmic contribution is a new minimax representation learning objective, for which we provide variants with differing tradeoffs in their statistical and computational properties. We interleave this representation learning step with an exploration strategy to cover the state space in a reward-free manner. The resulting algorithms are provably sample efficient and can accommodate general function approximation to scale to complex environments.

研究の動機と目的

• 従来の手法がモデルベースであったのに対し、完全なモデルダイナミクスを必要とせずに、低ランクMDPにおける表現学習と探索の課題に取り組むこと。
• 既知の特徴やパラメトリックに実現可能な特徴を仮定せずに、表現を学習するモデルフリーなアプローチを開発すること。
• 同じダイナミクスを持つが報酬が異なる複数の下流タスクにおいて、サンプル効率的な学習を可能にすること。
• 弱い実現可能性仮定の下で、統計的に妥当かつ計算的に効率的な表現学習目的を設計すること。
• 表現学習と報酬フリー探索を統合し、状態空間を効果的にカバーできること。

提案手法

• 任意の関数のベルマンバックアップが真の特徴マップ $\phi^*$ に対して線形であるという洞察に基づき、新しいミニマックス表現学習目的を提案する。
• 特徴クラス $\Phi$ によって誘導される識別器クラス $\mathcal{F}$ におけるベルマンバックアップの最悪ケース近似誤差を最小化する形で目的関数を定式化する。
• 計算の扱いやすさを向上させるために、識別器クラスの段階的拡張メカニズムを導入する。
• 特徴クラス $\Phi$ が効率的に列挙可能な場合、ミニマックス最適化を固有ベクトルの計算に還元でき、証明可能な計算効率を達成する。
• 状態空間の完全カバーを保証するために、表現学習ステップを報酬フリー探索戦略と入れ替えながら実行する。
• 一般関数近似を用いることで、制限的なパラメトリック仮定を回避し、複雑な環境へのスケーリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルベースのダイナミクス推定に依存せずに、低ランクMDPにおける表現学習と探索を達成できるか？
• RQ2 同じダイナミクスを持つ複数の下流タスクにおいて、サンプル効率的な学習を可能にするモデルフリーな表現学習は可能か？
• RQ3 価値関数や逆ダイナミクスの実現可能性を仮定せず、表現を学習するためのミニマックス目的をどのように設計できるか？
• RQ4 提案されたミニマックス表現学習目的の異なるバージョンにおける統計的・計算的トレードオフは何か？
• RQ5 一般関数近似を用いて高次元環境にスケーリングする際、サンプル効率性を維持できるか？

主な発見

• 提案されたモデルフリーなアルゴリズムは、従来のモデルベース手法とは異なり、完全なモデルダイナミクスを必要とせずに、低ランクMDPで証明可能なサンプル効率性を達成する。
• ミニマックス表現学習目的により、識別器クラスに属するすべての関数のベルマンバックアップを線形に近似する表現を学習可能であり、追加の実現可能性仮定は不要である。
• 特徴クラス $\Phi$ が効率的に列挙可能な場合、最適化は固有ベクトルの計算に還元され、証明可能な計算効率が保証される。
• 一般関数近似をサポートするため、深層ニューラルネットワークを含む複雑な環境へのスケーリングが可能である。
• 表現学習と報酬フリー探索を統合することで、状態空間を効果的にカバーし、サンプル効率性を達成する。
• 合成仮説クラス（例えば関数の積や和）の擬似次元のバウンドは、一般化と一般化バウンドの分析を支援する。