[논문 리뷰] Q-learning with Nearest Neighbors

Devavrat Shah, Qiaomin Xie|arXiv (Cornell University)|2018. 02. 12.

Reinforcement Learning in Robotics인용 수 18

한 줄 요약

이 논문은 동적 구조가 알려지지 않은 연속 상태 마르코프 결정 과정(MDP)를 위한 비모수 강화학습 알고리즘인 최근접 이웃 Q-학습(NNQL)을 제안한다. 이 알고리즘은 최적의 Q-함수를 추정하기 위해 최근접 이웃 회귀를 사용한다. 유한 샘플 수렴 속도가 엄밀하게 분석되었으며, NNQL이 $\varepsilon$-정확도를 달성하는 데 $\widetilde{O}(L/\varepsilon^3(1-\gamma)^7)$개의 샘플을 필요로 함을 보여주며, 여기서 $L$은 커버링 시간이다. 또한 이에 대응하는 하한선 $\widetilde{\Omega}(1/\varepsilon^{d+2})$를 증명하여 근사 최적성임을 입증한다.

ABSTRACT

We consider model-free reinforcement learning for infinite-horizon discounted Markov Decision Processes (MDPs) with a continuous state space and unknown transition kernel, when only a single sample path under an arbitrary policy of the system is available. We consider the Nearest Neighbor Q-Learning (NNQL) algorithm to learn the optimal Q function using nearest neighbor regression method. As the main contribution, we provide tight finite sample analysis of the convergence rate. In particular, for MDPs with a $d$-dimensional state space and the discounted factor $γ\in (0,1)$, given an arbitrary sample path with "covering time" $ L $, we establish that the algorithm is guaranteed to output an $\varepsilon$-accurate estimate of the optimal Q-function using $ ilde{O}\big(L/(\varepsilon^3(1-γ)^7)\big)$ samples. For instance, for a well-behaved MDP, the covering time of the sample path under the purely random policy scales as $ ilde{O}\big(1/\varepsilon^d\big),$ so the sample complexity scales as $ ilde{O}\big(1/\varepsilon^{d+3}\big).$ Indeed, we establish a lower bound that argues that the dependence of $ ildeΩ\big(1/\varepsilon^{d+2}\big)$ is necessary.

연구 동기 및 목표

• 알려지지 않은 동적 구조를 가진 연속 상태 MDP에서 비모수 Q-학습에 대한 유한 샘플 수렴 분석의 부족을 해결하기 위해.
• 알려진 전이 커널이 필요 없이 단일 임의의 샘플 경로로부터 최적의 Q-함수를 학습하는 모델-프리 강화학습 알고리즘을 개발하기 위해.
• 무한 시간 할인 MDP에서 최근접 이웃 기반 Q-학습에 대한 엄밀한 유한 샘플 수렴 보장을 제공하기 위해.
• 제안된 샘플 복잡도의 근사 최적성임을 입증하기 위해 대응하는 하한선을 확립하기 위해.

제안 방법

• NNQL은 단일 순차적 경로의 상태-행동-보상 전이로부터 Q-함수를 최근접 이웃 회귀를 통해 추정한다.
• 알고리즘은 벨만 업데이트를 수행하며, 기대값을 상태 공간 내에서의 k개의 최근접 이웃을 통해 근사한다.
• 분석은 NNQL을 편향이 있는 확률적 근사 과정으로 간주하여 업데이트를 두 개의 구성 요소로 분해하여 편향과 분산을 별도로 근사한다.
• 핵심 기술적 요소는 인구 벨만 연산자의 최근접 이웃 근사에 의해 유도되는 편향의 특성화이다.
• 비모수 회귀에서의 결과, 특히 스톤의 최소최대 속도를 활용하여 추정 오차의 하한선을 유도한다.
• 이론적 분석은 농도 부등식과 커버링 추론을 조합하여 경로의 커버링 시간 $L$에 따라 오차를 근사한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 동적 구조를 가진 연속 상태 MDP에서 최근접 이웃 Q-학습의 유한 샘플 수렴 속도는 무엇인가?
• RQ2 NNQL의 샘플 복잡도는 근사 오차 $\varepsilon$, 할인 요소 $\gamma$, 상태 공간의 차원 $d$에 대해 어떻게 변화하는가?
• RQ3 알고리즘이 근사 최적의 샘플 복잡도를 달성할 수 있으며, 이 설정에서 최적의 Q-함수를 학습하는 데 있어 기본적인 한계는 무엇인가?
• RQ4 샘플 경로의 커버링 시간 $L$은 NNQL의 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• NNQL 알고리즘은 높은 확률로 $\varepsilon$-정확도의 최적 Q-함수 추정치를 $\widetilde{O}(L/\varepsilon^3(1-\gamma)^7)$개의 샘플을 사용하여 달성한다.
• 순수한 랜덤 정책을 가진 잘 조절된 MDP의 경우 커버링 시간 $L$은 $\widetilde{O}(1/\varepsilon^d)$로 스케일링되며, 이에 따라 총 샘플 복잡도는 $\widetilde{O}(1/\varepsilon^{d+3})$가 된다.
• 필요한 샘플 수의 하한선으로 $\widetilde{\Omega}(1/\varepsilon^{d+2})$를 확립하여 알고리즘의 샘플 복잡도가 거의 최적임을 입증한다.
• 분석 결과, 주요 오차 원인은 벨만 연산자의 최근접 이웃 근사에 기인한 편향과 유한하고 종속된 샘플로부터 유도된 분산임을 밝혀냈다.
• 업데이트를 두 개의 하위 업데이트로 분해함으로써 비상대적 수렴 보장을 제공하였으며, 편향이 있는 확률적 근사 분석에서 이전의 결과를 향상시켰다.
• 비모수 회귀 문제에서 MDP 문제로의 환원은 MDP 문제가 회귀 문제만큼은 아니지만 적어도 그 수준의 난이도를 가짐을 보여주며, 스톤의 최소최대 결과를 통해 하한선를 정당화한다.