[論文レビュー] Simple Agent, Complex Environment: Efficient Reinforcement Learning with Agent States

Shi Dong, Benjamin Van Roy+1 more|arXiv (Cornell University)|Feb 10, 2021

Multi-Agent Systems and Negotiation被引用数 6

ひとこと要約

本論文は、エージェントの状態表現を活用することで、任意に複雑な環境において、証明可能に効率的な強化学習を達成するシンプルなQ学習ベースのエージェントを提案する。エージェントの性能損失が表現歪みの定数倍で抑えられることを確立し、環境の複雑さに依存せずに、エージェントの状態の複雑さに多項式的に比例する時間内で漸近的性能に近づくことを示している。

ABSTRACT

We design a simple reinforcement learning (RL) agent that implements an optimistic version of $Q$-learning and establish through regret analysis that this agent can operate with some level of competence in any environment. While we leverage concepts from the literature on provably efficient RL, we consider a general agent-environment interface and provide a novel agent design and analysis. This level of generality positions our results to inform the design of future agents for operation in complex real environments. We establish that, as time progresses, our agent performs competitively relative to policies that require longer times to evaluate. The time it takes to approach asymptotic performance is polynomial in the complexity of the agent's state representation and the time required to evaluate the best policy that the agent can represent. Notably, there is no dependence on the complexity of the environment. The ultimate per-period performance loss of the agent is bounded by a constant multiple of a measure of distortion introduced by the agent's state representation. This work is the first to establish that an algorithm approaches this asymptotic condition within a tractable time frame.

研究の動機と目的

• 証明可能に効率的なRLアルゴリズムと、複雑で現実世界的な環境で動作する実用的エージェントの間のギャップを埋める。
• マルコフ連鎖の動的性、エピソード構造、最適方策の有限評価時間の仮定なしに、効果的に機能する汎用的なRLエージェントを設計する。
• 環境の複雑さに依存しない理論的性能保証（具体的には、レグレットの上限）を確立する。
• エージェントの性能損失が、その状態表現によって生じる歪みの定数倍で抑えられることを示す。
• エージェントの状態の複雑さと方策評価時間に対して、漸近的性能に収束するまでの時間計算量の分析を提供する。

提案手法

• 有限のエージェント状態集合を用いて、複雑な観測を表現する、楽観的Q学習の変種に基づく新規なエージェント設計を提案する。
• サンプル観測上でℓ₂損失を最小化するフィッティング値反復アルゴリズムを導入し、価値関数を更新する。
• 観測をより小さな、取り扱いやすいアレアトリック状態の集合に圧縮する写像 φ: O → S を定義する。
• γ ∈ (0,1) の割引率を用い、最適Q値を近似するための価値関数 V^(k) の反復的更新を実行する。
• 最適平均報酬 λ* とエージェントが達成した報酬 λ_π の差を測るレグレットの上限を用いて性能を分析する。
• 価値関数列 V^(k) が確率的に極限 V^(∞) に収束することを確立し、理論的性能分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖の動的性といった制限的な仮定に依存せずに、シンプルなRLエージェントが任意に複雑な環境で競争的な性能を達成できるか？
• RQ2 シンプルなエージェントが複雑な環境で漸近的性能に近づくために必要な時間計算量は何か？
• RQ3 エージェントの状態表現によって生じる歪みが、長期的性能にどのように影響するか？
• RQ4 特に最適方策が有限時間内で評価不可能な場合に、環境の複雑さに依存しないレグレットの上限を確立できるか？
• RQ5 無限のホライズン上で効果的に動作する、証明可能に効率的なRLエージェントを設計することは可能か？（タスクの期間を事前に知る必要がない。）

主な発見

• エージェントの性能損失は、その状態表現によって生じる歪みの定数倍で抑えられ、長期的な安定性を保証する。
• 漸近的性能に近づくまでの時間は、エージェントの状態表現の複雑さと、それが表現できる最良方策の評価に要する時間に対して多項式的に増加する。
• レグレットの上限は環境の複雑さに依存しないため、環境がしばしば無限に複雑である現実世界の設定において顕著な利点を有する。
• 評価に指数的時間が必要な方策と比較して、エージェントは学習の効率性を示しており、競争的な性能を達成する。
• 特定の例題環境では、エージェントの最適方策 π^(∞) が報酬率 λ_π^(∞) を達成し、λ_* - λ_π^(∞) ≥ τ_π^(∞) · γ · Δ̄_τ - ε を満たす。ここで Δ̄_τ = δ であり、理論的制御がきわめてきびしく保証されている。
• κ < 2γδ/(1−γ) かつ ε₁ = 1−γ のとき、エージェントは状態1で行動1、状態2で行動2を選択する方策に収束するが、これは最適でないが、性能損失が証明可能に上限付きである。