[논문 리뷰] Sample-Optimal Parametric Q-Learning Using Linearly Additive Features

Lin F. Yang, Mengdi Wang|arXiv (Cornell University)|2019. 02. 13.

Reinforcement Learning in Robotics참고 문헌 32인용 수 32

한 줄 요약

이 논문은 선형으로 가감 가능한 상태-행동 특징을 가진 마르코프 결정 과정(MDPs)를 위한 샘플 최적의 파arametric Q-학습 알고리즘을 제안한다. 앵커 상태-행동 가정 하에 단조성, 분산 감소, 신뢰구간을 활용하여, $×\widetilde{O}(K/\epsilon^2(1-\gamma)^3)$의 샘플 복잡도를 달성하며, 이는 로그 인자들을 제외한 이론적 하한선과 일치하여 대규모 MDPs에서 거의 샘플 최적이다.

ABSTRACT

Consider a Markov decision process (MDP) that admits a set of state-action features, which can linearly express the process's probabilistic transition model. We propose a parametric Q-learning algorithm that finds an approximate-optimal policy using a sample size proportional to the feature dimension $K$ and invariant with respect to the size of the state space. To further improve its sample efficiency, we exploit the monotonicity property and intrinsic noise structure of the Bellman operator, provided the existence of anchor state-actions that imply implicit non-negativity in the feature space. We augment the algorithm using techniques of variance reduction, monotonicity preservation, and confidence bounds. It is proved to find a policy which is $ε$-optimal from any initial state with high probability using $\widetilde{O}(K/ε^2(1-γ)^3)$ sample transitions for arbitrarily large-scale MDP with a discount factor $γ\in(0,1)$. A matching information-theoretical lower bound is proved, confirming the sample optimality of the proposed method with respect to all parameters (up to polylog factors).

연구 동기 및 목표

• 크게 퍼진 MDPs의 차원의 저주를 구조적 특징 표현을 활용하여 해결하기 위해.
• 높은 확률로 $\epsilon$-최적 정책을 학습하기 위해 필요한 최소한의 상태 전이 샘플 수를 결정하기 위해.
• 특징 차원 $K$에 따라 스케일링되며, 상태 공간 크기의 영향을 받지 않는 증명 가능하게 샘플 효율적인 Q-학습 알고리즘을 개발하기 위해.
• 엄밀한 정보 이론적 하한선을 설정하고, 이를 알고리즘 성능과 다항로그 인자들을 제외하고 일치시키기 위해.

제안 방법

• 함수 피팅을 피하기 위해 샘플된 전이를 통해 매개변수를 갱신하는 파arametric Q-학습 프레임워크를 사용한다.
• 가치 반복 중 정확도 제어를 위해 분산 감소와 신뢰구간을 활용한다.
• 벨만 연산자의 단조성과 앵커 상태-행동 가정을 활용하여 정책 향상을 보장한다.
• 수렴을 가속화하기 위해 마이너스 배치 샘플링을 사용한 재귀적 신뢰 영역 갱신을 적용한다.
• 에러 한계를 기하급수적으로 감소시키는 계층적 매개변수 갱신 체계를 사용하여 단조적 향상을 보장한다.
• 마르코프 체인의 전반적 분산 법칙과 농도 불등식을 조합한 새로운 분석에 의존하여 추정 오차를 제한한다.

실험 결과

연구 질문

• RQ1 특징 기반 MDP에서 $\epsilon$-최적 정책을 학습하기 위해 필요한 샘플 수의 정보 이론적 하한선은 무엇인가?
• RQ2 Q-학습 알고리즘이 상태 공간 크기와 무관하게, 오직 특징 차원 $K$에 따라 스케일링되는 샘플 복잡도를 달성할 수 있는가?
• RQ3 단조성과 분산 감소는 파arametric Q-학습에서 샘플 효율성을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ4 선형으로 가감 가능한 특징 모델 하에서 파arametric Q-학습에 대해 증명 가능하게 샘플 최적의 알고리즘이 존재하는가?

주요 결과

• 제안된 알고리즘은 $\widetilde{O}(K/\epsilon^2(1-\gamma)^3)$의 샘플 복잡도를 달성하며, 로그 인자들을 제외한 정보 이론적 하한선과 일치한다.
• 알고리즘은 $1-\delta$ 이상의 확률로 어떤 초기 상태에서나 $\widetilde{O}(K/\epsilon^2(1-\gamma)^3 \cdot \log(1/\delta))$개의 샘플을 사용하여 $\epsilon$-최적 정책을 찾는다.
• γ = 0.99일 때, 가속화된 알고리즘은 기본 파arametric Q-학습 베이스라인보다 $10^8$배 빠르다.
• 이 방법은 선형 전이 모델을 가진 MDPs에서 샘플 최적성(다항로그 인자들을 제외하고)을 달성한 최초의 방법이다.
• 앵커 상태-행동 가정은 특징 공간 내의 음수를 방지하며, 이는 단조적 정책 향상과 엄밀한 오차 제어에 필수적이다.