[논문 리뷰] Sample-Optimal Parametric Q-Learning with Linear Transition Models.

Lin F. Yang, Mengdi Wang|arXiv (Cornell University)|2019. 02. 13.

Reinforcement Learning in Robotics참고 문헌 16인용 수 10

한 줄 요약

이 논문은 선형 전이 모델을 가진 MDPs에 대해 샘플 최적의 파rametric Q-학습 알고리즘을 제안한다. 특징 기반 표현과 분산 감소 기법을 활용하여 $\tilde{O}(K/\tau^2(1-\gamma)^3)$의 샘플 복잡도를 달성한다. 여기서 $K$는 특징 차원이고 $\gamma$는 할인 요소이다. 이는 다항로그 인자까지의 엄밀한 샘플 효율성을 정보 이론적 하한선을 통해 증명한다.

ABSTRACT

Consider a Markov decision process (MDP) that admits a set of state-action features, which can linearly express the process's probabilistic transition model. We propose a parametric Q-learning algorithm that finds an approximate-optimal policy using a sample size proportional to the feature dimension $K$ and invariant with respect to the size of the state space. To further improve its sample efficiency, we exploit the monotonicity property and intrinsic noise structure of the Bellman operator, provided the existence of anchor state-actions that imply implicit non-negativity in the feature space. We augment the algorithm using techniques of variance reduction, monotonicity preservation, and confidence bounds. It is proved to find a policy which is $\epsilon$-optimal from any initial state with high probability using $\widetilde{O}(K/\epsilon^2(1-\gamma)^3)$ sample transitions for arbitrarily large-scale MDP with a discount factor $\gamma\in(0,1)$. A matching information-theoretical lower bound is proved, confirming the sample optimality of the proposed method with respect to all parameters (up to polylog factors).

연구 동기 및 목표

• 선형 전이 모델을 가진 대규모 MDPs에서 샘플 효율성을 달성하는 파rametric Q-학습 알고리즘을 개발한다.
• 샘플 복잡도가 상태 공간 크기와는 무관하고 오직 특징 차원 $K$에만 의존하도록 한다.
• 벨먼 연산자의 단조성과 노이즈 구조를 활용하여 샘플 효율성을 향상시킨다.
• 일치하는 정보 이론적 하한선을 통해 제안된 방법이 다항로그 인자까지 샘플 최적임을 증명한다.

제안 방법

• 알고리즘은 차원 $K$의 상태-행동 특징으로 매개변수화된 선형 함수 근사법을 전이 모델에 적용한다.
• 학습의 안정성과 샘플 효율성을 향상시키기 위해 분산 감소 기법을 적용한다.
• 특징 공간 내 비음성 조건을 유도하는 앵커 상태-행동를 활용하여 단조성 유지 조건을 강제한다.
• 높은 확률에서 $\varepsilon$-최적 정책을 확보하기 위해 신뢰 구간을 통합한다.
• 이러한 구성 요소들을 통합하여 샘플 복잡도 $\tilde{O}(K/\varepsilon^2(1-\gamma)^3)$를 달성한다.
• 이론적 분석을 통해 메서드의 최적성을 입증하며, 일치하는 하한선을 확립한다.

실험 결과

연구 질문

• RQ1 선형 전이 모델을 가진 MDPs에서 파rametric Q-학습이 상태 공간 크기와 무관한 샘플 복잡도를 달성할 수 있는가?
• RQ2 벨먼 연산자의 단조성과 내재된 노이즈 구조는 어떻게 활용하여 샘플 효율성을 향상시킬 수 있는가?
• RQ3 이러한 MDPs에서 $\varepsilon$-최적 정책을 학습하는 데 있어 기본적인 샘플 복잡도 한계는 무엇인가?
• RQ4 분산 감소와 신뢰 구간 기법을 효과적으로 조합하여 높은 확률에서의 성능 보장을 확보할 수 있는가?
• RQ5 제안된 알고리즘의 샘플 복잡도는 다항로그 인자까지 최적인가?

주요 결과

• 제안된 알고리즘은 $\tilde{O}(K/\varepsilon^2(1-\gamma)^3)$의 샘플 전이를 사용하여 높은 확률에서 $\varepsilon$-최적 정책 학습을 달성한다.
• 샘플 복잡도는 상태 공간 크기와는 무관하게 오직 특징 차원 $K$에만 의존한다.
• 정보 이론적 최적성은 다항로그 인자까지 일치하는 하한선을 통해 확인되었으며, 메서드의 샘플 복잡도는 정보 이론적으로 최적이다.
• 벨먼 연산자의 단조성과 내재된 노이즈 구조는 샘플 효율성을 향상시키는 데 성공적으로 활용되었다.
• 분산 감소와 신뢰 구간 기법은 높은 확률 보장을 갖는 안정적이고 신뢰할 수 있는 학습을 보장한다.
• 알고리즘은 임의의 대규모 MDPs와 임의의 할인 요소 $\gamma \in (0,1)$에서도 샘플 최적성을 유지한다.