[論文レビュー] Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency

Cai Qi, Zhuoran Yang+1 more|arXiv (Cornell University)|Apr 20, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、無限の観測および状態空間を有する部分的に観測可能なマルコフ決定過程（POMDP）に対して、線形関数近似を用いた強化学習アルゴリズムであるOP-TENETを提案する。本手法は、$O(1/\epsilon^2)$エピソード以内に$\epsilon$-最適方策を達成し、内因的次元に多項式的に依存するが、観測／状態空間のサイズに依存しないサンプル複雑性を達成する。これは、有限記憶のベルマン作用素、滑らか化された識別器を用いた敵対的積分方程式推定、および楽観的探索に基づく手法によって実現される。

ABSTRACT

We study reinforcement learning for partially observed Markov decision processes (POMDPs) with infinite observation and state spaces, which remains less investigated theoretically. To this end, we make the first attempt at bridging partial observability and function approximation for a class of POMDPs with a linear structure. In detail, we propose a reinforcement learning algorithm (Optimistic Exploration via Adversarial Integral Equation or OP-TENET) that attains an $ε$-optimal policy within $O(1/ε^2)$ episodes. In particular, the sample complexity scales polynomially in the intrinsic dimension of the linear structure and is independent of the size of the observation and state spaces. The sample efficiency of OP-TENET is enabled by a sequence of ingredients: (i) a Bellman operator with finite memory, which represents the value function in a recursive manner, (ii) the identification and estimation of such an operator via an adversarial integral equation, which features a smoothed discriminator tailored to the linear structure, and (iii) the exploration of the observation and state spaces via optimism, which is based on quantifying the uncertainty in the adversarial integral equation.

研究の動機と目的

• 無限の観測および状態空間を有するPOMDPにおける強化学習の理論的ギャップを埋める。
• 部分的観測および高次元状態空間に起因する統計的・計算的課題を克服する。
• 線形構造を有するPOMDPに対して、証明可能なサンプル効率性を持つアルゴリズムを開発する。
• 完全なモデル同定やテーブル型仮定を必要としないPOMDPにおける関数近似を可能にする。
• 部分的観測下で線形関数近似を用いた効率的な探索および価値関数推定のフレームワークを確立する。

提案手法

• 記憶量を有限に制限したベルマン作用素を提案し、価値関数の再帰的表現を可能にすることで、メモリおよび計算負荷を低減する。
• 線形構造に適合した滑らか化された識別器を用いた敵対的積分方程式を用い、ベルマン作用素の同定と推定を実現する。
• 不確実性の定量化を敵対的積分方程式に組み込み、不確実性に対する楽観的探索を導入する。
• 計算効率を高めるために、学習問題をミニマックス最適化として定式化し、特に大規模データセットにおいて有効である。
• 価値関数推定に線形関数近似を統合し、高次元空間へのスケーラビリティを確保する。
• 線形構造の内因的次元を主要な複雑性指標として用い、サンプル複雑性を観測／状態空間のサイズから分離する。

実験結果

リサーチクエスチョン

• RQ1 無限の観測および状態空間を有するPOMDPにおける強化学習を、線形関数近似を用いて証明可能なサンプル効率性を持つようにできるか？
• RQ2 高次元で部分的に観測可能な環境において、価値関数を効率的に表現および推定することは可能か？
• RQ3 線形構造を有するPOMDPにおけるサンプル複雑性を決定づける要因としての内因的次元の役割は何か？
• RQ4 敵対的積分方程式の文脈において、楽観的探索を効果的に定量化および適用することは可能か？
• RQ5 このような設定において、観測および状態空間のサイズに依存しない多項式的サンプル複雑性を達成することは可能か？

主な発見

• OP-TENETは、$O(1/\epsilon^2)$エピソード以内に$\epsilon$-最適方策を達成し、証明可能な効率的な学習レートを確立した。
• サンプル複雑性は、線形構造の内因的次元に多項式的に依存し、観測および状態空間のサイズに依存しない。
• アルゴリズムのサンプル効率性は、複雑性を低減して価値関数の再帰的表現を捉える有限記憶ベルマン作用素によって実現された。
• 滑らか化された識別子を用いた敵対的積分方程式推定により、線形構造下でベルマン作用素の正確な同定が可能となった。
• 敵対的積分方程式における不確実性の定量化に基づく楽観的探索により、観測および状態空間の有効なカバーが保証された。
• ミニマックス最適化の定式化により、大規模データセットでも効率的な実装が可能となり、実用的なスケーラビリティが実現された。