[논문 리뷰] Simple Agent, Complex Environment: Efficient Reinforcement Learning with Agent States

Shi Dong, Benjamin Van Roy외 1명|arXiv (Cornell University)|2021. 02. 10.

Multi-Agent Systems and Negotiation인용 수 6

한 줄 요약

이 논문은 에이전트 상태 표현을 활용하여 임의로 복잡한 환경에서 증명 가능하게 효율적인 강화학습을 달성하는 단순한 Q-학습 기반 에이전트를 제안한다. 에이전트의 성능 손실이 표현 왜곡의 상수배 이내로 제한됨을 입증하고, 환경 복잡도에 의존하지 않고 에이전트 상태 복잡도에 다항수준의 시간 내에 渐近 성능에 수렴함을 보여준다.

ABSTRACT

We design a simple reinforcement learning (RL) agent that implements an optimistic version of $Q$-learning and establish through regret analysis that this agent can operate with some level of competence in any environment. While we leverage concepts from the literature on provably efficient RL, we consider a general agent-environment interface and provide a novel agent design and analysis. This level of generality positions our results to inform the design of future agents for operation in complex real environments. We establish that, as time progresses, our agent performs competitively relative to policies that require longer times to evaluate. The time it takes to approach asymptotic performance is polynomial in the complexity of the agent's state representation and the time required to evaluate the best policy that the agent can represent. Notably, there is no dependence on the complexity of the environment. The ultimate per-period performance loss of the agent is bounded by a constant multiple of a measure of distortion introduced by the agent's state representation. This work is the first to establish that an algorithm approaches this asymptotic condition within a tractable time frame.

연구 동기 및 목표

• 증명 가능하게 효율적인 강화학습 알고리즘과 실세계의 복잡한 환경에서 작동하는 실용적 에이전트 사이의 격차를 해소하기 위해.
• 마르코프 동역학, 에피소드적 구조, 최적 정책 평가에 유한한 시간이 소요된다는 가정 없이도 효과적으로 기능하는 일반 목적의 강화학습 에이전트를 설계하기 위해.
• 환경 복잡도에 영향을 받지 않는 이론적 성능 보장을 확립하기 위해 — 특히 손실 한계를 제시하기 위해.
• 에이전트의 성능 손실이 그 에이전트 상태 표현에 의해 유도된 왜곡의 상수배 이내로 제한됨을 입증하기 위해.
• 에이전트 상태 복잡도와 정책 평가 시간에 상대적으로 다항 시간 내에 渐近 성능에 수렴함을 보여주는 시간 복잡도 분석을 제공하기 위해.

제안 방법

• 관측을 복잡한 관측에서 더 작은, 다룰 수 있는 집합의 난수 상태로 압축하는 상태 표현 사상 φ: O → S 를 정의한다.
• 유한한 수의 에이전트 상태를 사용하여 복잡한 관측을 표현하는 단순한 Q-학습 기반의 새로운 에이전트 설계를 제안한다.
• 샘플된 관측에 대해 피팅된 ℓ₂-손실 최소화를 통한 값 함수 갱신을 위한 값 함수 반복 알고리즘을 도입한다.
• 할인 인자 γ ∈ (0,1) 를 사용하고, 최적 Q-값을 근사하기 위해 값 함수 V^(k) 에 대해 반복적 갱신을 수행한다.
• 최적 평균 보상 λ* 와 에이전트가 달성한 보상 λ_π 사이의 차이를 측정하여 성능을 분석하기 위해 손실 한계를 사용한다.
• 값 함수 수열 V^(k) 가 확률적으로 한계 V^(∞) 로 수렴함을 입증하여 이론적 성능 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 마르코프 동역학과 같은 제한적인 가정 없이도 단순한 강화학습 에이전트가 임의로 복잡한 환경에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 단순한 에이전트가 복잡한 환경에서 渐近 성능에 도달하기 위해 필요한 시간 복잡도는 무엇인가?
• RQ3 에이전트의 상태 표현에 의해 유도된 왜곡이 장기 성능에 어떻게 영향을 미치는가?
• RQ4 최적 정책이 유한 시간 내에 평가가 불가능한 경우에도 환경 복잡도에 독립적인 손실 한계를 확립할 수 있는가?
• RQ5 무한 수명 주기 동안 효과적으로 작동하는 증명 가능하게 효율적인 강화학습 에이전트를 설계할 수 있는가? 이 경우 과제 지속 시간을 사전에 알 필요가 없는가?

주요 결과

• 에이전트의 성능 손실은 그 상태 표현에 의해 유도된 왜곡의 상수배 이내로 제한되며, 이는 안정적인 장기 성능 보장을 보장한다.
• 渐近 성능에 수렴하는 데 소요되는 시간은 에이전트 상태 표현의 복잡도와 그가 표현할 수 있는 최적 정책 평가에 소요되는 시간에 다항적으로 비례한다.
• 손실 한계는 환경 복잡도에 영향을 받지 않으며, 이는 환경이 종종 무한히 복잡한 실세계 환경에서의 큰 장점이다.
• 평가 시간이 지수적으로 더 오래 걸리는 정책들과 비교해도 경쟁 가능한 성능를 달성함으로써 학습의 효율성을 입증한다.
• 특정 예제 환경에서 에이전트의 최적 정책 π^(∞) 는 보상률 λ_π^(∞) 가 λ_* - λ_π^(∞) ≥ τ_π^(∞) · γ · Δ̄_τ - ε 를 만족하며, Δ̄_τ = δ 이므로 이론적 제어가 매우 날카롭게 유지됨을 보여준다.
• κ < 2γδ/(1−γ) 이고 ε₁ = 1−γ 일 때, 에이전트는 상태 1 에서 행동 1, 상태 2 에서 행동 2 를 선택하는 정책으로 수렴하며, 이는 최적해가 아니지만 성능 손실가 증명 가능하게 제한됨을 보여준다.