[논문 리뷰] Finite-Sample Analysis of Nonlinear Stochastic Approximation with Applications in Reinforcement Learning

Zaiwei Chen, Sheng Zhang외 3명|arXiv (Cornell University)|2019. 05. 27.

Reinforcement Learning in Robotics참고 문헌 45인용 수 31

한 줄 요약

이 논문은 강화학습에서 흔히 발생하지만 유한 샘플 분석에서 다루지 않은 마르코프 노이즈를 가진 비선형 확률적 근사(SA)에 대해 유한 샘플 수렴 경계를 제시한다. 일정 단계 크기에서는 지수 수렴을, 감소하는 단계 크기에서는 $O(\log k / k)$ 수렴 속도를 확보한다. 이러한 결과를 선형 함수 근사와 함께 $Q$-학습에 적용하여, 행동 정책, 할인 인자, 기저 함수에 대한 새로운 조건 하에서 유한 샘플 경계를 도출한다. 이 조건은 베어드의 반례에서 수치적으로 검증된다.

ABSTRACT

Motivated by applications in reinforcement learning (RL), we study a nonlinear stochastic approximation (SA) algorithm under Markovian noise, and establish its finite-sample convergence bounds under various stepsizes. Specifically, we show that when using constant stepsize (i.e., $α_k\equiv α$), the algorithm achieves exponential fast convergence to a neighborhood (with radius $O(α\log(1/α))$) around the desired limit point. When using diminishing stepsizes with appropriate decay rate, the algorithm converges with rate $O(\log(k)/k)$. Our proof is based on Lyapunov drift arguments, and to handle the Markovian noise, we exploit the fast mixing of the underlying Markov chain. To demonstrate the generality of our theoretical results on Markovian SA, we use it to derive the finite-sample bounds of the popular $Q$-learning with linear function approximation algorithm, under a condition on the behavior policy. Importantly, we do not need to make the assumption that the samples are i.i.d., and do not require an artificial projection step in the algorithm to maintain the boundedness of the iterates. Numerical simulations corroborate our theoretical results.

연구 동기 및 목표

• 강화학습에서 흔한 마르코프 노이즈를 가진 비선형 확률적 근사(SA)에 대해 유한 샘플 수렴 보장을 확립하는 것. 이는 기존의 i.i.d. 샘플이나 인위적 투영 단계 없이도 가능하다.
• 리아푸노프 드리프트와 마르코프 체인의 기하학적 혼합 성질을 이용해 SA 알고리즘에서 인위적 투영 단계가 필요 없도록 유한성을 보장하는 것.
• SA 결과를 선형 함수 근사와 함께 $Q$-학습에 적용하여, 안정성에 충분한 조건 하에서 최초로 유한 샘플 수렴 경계를 제공하는 것.
• 유도된 조건의 충분성과 수렴 속도를 베어드의 유명한 발산 반례를 통해 수치적으로 검증하는 것.

제안 방법

• 저자들은 최적 해와의 거리 감소의 기대값을 분석하기 위해 리아푸노프 드리프트를 활용하며, 기대값에서 음의 드리프트를 보장하는 적절한 리아푸노프 함수를 구성한다.
• 기저 마르코프 체인의 기하학적 혼합 성질을 이용해 노이즈의 의존성을 제어함으로써, 마르코프 샘플링 하에서 유한 샘플 경계를 확보한다.
• 일정 단계 크기의 경우, 수렴이 최적 해 주변 반경 $O(\alpha \log(1/\alpha))$ 내에서 지수 수렴을 보임을 보여준다.
• 감소하는 단계 크기 $\alpha_k = \alpha / (k + h)^\xi$ 의 경우, 수렴 속도가 $O(\log k / k)$ 임을 유도하며, $\xi = 1$ 일 때 최적 속도를 달성한다.
• 비선형 SA에 마르코프 노이즈를 적용하여 $Q$-학습과 선형 함수 근사를 모델링한다.
• 수렴을 위한 충분 조건을 행동 정책 $\pi$, 할인 인자 $\gamma$, 기저 함수를 포함하여 유도하며, 이는 $\omega(\pi) > \gamma^2$ 로 표현된다.

실험 결과

연구 질문

• RQ1 i.i.d. 샘플이나 인위적 투영 없이도 마르코프 노이즈를 가진 비선형 확률적 근사에 대해 유한 샘플 수렴 경계를 확립할 수 있는가?
• RQ2 비선형 마르코프 노이즈를 가진 SA에서 일정 단계 크기로 지수 수렴을 증명할 수 있는가? 도달 가능한 수렴 속도는 무엇인가?
• RQ3 일반적으로 발산하는 것으로 알려진 $Q$-학습과 선형 함수 근사에서, 어떤 조건이 유한 샘플 수렴을 보장하는가?
• RQ4 이론적 수렴 속도와 실증 성능 간의 비교는 어떻게 이루어지며, 특히 알려진 발산 사례인 베어드의 반례에서 어떻게 나타나는가?
• RQ5 유도된 안정성 조건이 수치적으로 검증 가능하며 실질적으로 수렴에 충분한가?

주요 결과

• 일정 단계 크기의 경우, 비선형 SA 알고리즘은 최적 해 주변 반경 $O(\alpha \log(1/\alpha))$ 내에서 지수 수렴을 달성한다.
• 감소하는 단계 크기 $\alpha_k = \alpha / (k + h)^\xi$ 의 경우, 알고리즘은 $O(\log k / k)$ 속도로 수렴하며, $\xi = 1$ 일 때 최적 속도를 달성한다.
• 제안된 조건 $\omega(\pi) > \gamma^2$ 는 선형 함수 근사와 함께 $Q$-학습의 유한 샘플 수렴을 보장하며, $\omega(\pi)$ 는 행동 정책이 기저 함수 변화를 탐색하는 능력을 측정한다.
• 수치 실험 결과, $\gamma = 0.7$ 일 경우 알고리즘이 지수 수렴을 보이고, $\gamma = 0.97$ 일 경우 발산함을 확인하여 조건의 충분성을 검증한다.
• 감소하는 단계 크기의 경우, 실증 수렴 속도는 이론적 $O(\log k / k)$ 속도와 일치하며, $\log \mathbb{E}[\|\theta_k - \theta^*\|^2]$ 와 $\log k$ 의 기울기가 약 $-\xi$ 임을 확인하여 이론적 속도를 확인한다.
• 조건을 만족할 경우, 알고리즘이 베어드의 반례에서 $Q$-학습을 성공적으로 안정화시키며, 이론적 경계의 실용적 유의성을 입증한다.