[논문 리뷰] On the Convergence of the Monte Carlo Exploring Starts Algorithm for Reinforcement Learning

Che Wang, Keith W. Ross외 2명|arXiv (Cornell University)|2020. 02. 10.

Reinforcement Learning in Robotics참고 문헌 9인용 수 5

한 줄 요약

이 논문은 최적 정책 피드포워드 마르코프 결정 과정(MDPs)에서 상태가 최적 정책 하에 재방문되지 않는 경우 몬테카를로 탐색 시작(MCES) 알고리즘의 거의 확실 수렴을 확립한다. 강한 수렴 법칙에 기반한 새로운 귀납적 접근 방식을 사용하여, 균일한 탐색이나 할인 수익률을 요구하지 않고도 수렴을 증명함으로써, 많은 종류의 에피소딕 환경에서 강화학습 분야에서 오랫동안 남아있던 이론적 문제를 해결한다.

ABSTRACT

A simple and natural algorithm for reinforcement learning (RL) is Monte Carlo Exploring Starts (MCES), where the Q-function is estimated by averaging the Monte Carlo returns, and the policy is improved by choosing actions that maximize the current estimate of the Q-function. Exploration is performed by "exploring starts", that is, each episode begins with a randomly chosen state and action, and then follows the current policy to the terminal state. In the classic book on RL by Sutton & Barto (2018), it is stated that establishing convergence for the MCES algorithm is one of the most important remaining open theoretical problems in RL. However, the convergence question for MCES turns out to be quite nuanced. Bertsekas & Tsitsiklis (1996) provide a counter-example showing that the MCES algorithm does not necessarily converge. Tsitsiklis (2002) further shows that if the original MCES algorithm is modified so that the Q-function estimates are updated at the same rate for all state-action pairs, and the discount factor is strictly less than one, then the MCES algorithm converges. In this paper we make headway with the original and more efficient MCES algorithm given in Sutton & Barto (1998), establishing almost sure convergence for Optimal Policy Feed-Forward MDPs, which are MDPs whose states are not revisited within any episode when using an optimal policy. Such MDPs include a large class of environments such as all deterministic environments and all episodic environments with a timestep or any monotonically changing values as part of the state. Different from the previous proofs using stochastic approximations, we introduce a novel inductive approach, which is very simple and only makes use of the strong law of large numbers.

연구 동기 및 목표

• 강화학습에서 MCES 수렴 문제를 오랫동안 둔류로 남겨두었던, 원래의 더 효율적인 알고리즘 버전에 대해 해결한다.
• 균일한 탐색이나 엄격한 할인 수익률이 필요 없도록 최소한의 가정 하에 수렴을 확립한다.
• 복잡한 확률적 근사 이론을 피하는 깔끔한 귀납적 증명 기법을 제공한다.
• 최적 정책 피드포워드 MDPs라는 넓은 범위의 MDP 구조에서 MCES가 거의 확실하게 수렴함을 규명한다.
• MCES의 이론적 한계를 명확히 하여, 직관적으로 매력적으로 보일 수 있지만 수렴하지 않는 조건을 규명한다.

제안 방법

• 강한 수렴 법칙에만 기반하는 새로운 귀납적 증명 프레임워크를 도입하여, 확률적 근사 기법을 피한다.
• 다양한 초기 상태-행동 쌍 하에서 기대 수익률로 수렴하는 Q-값 추정치의 에피소드 간 변화를 분석한다.
• 학습 반복 과정에서 정책과 값의 동역학을 추적하기 위해 Q-값 공간 내 영역(예: R1, R2, T3, T4)을 정의한다.
• 표본 수익률 기대치(예: −μ₁, −μ₂, −μ₃)를 사용하여 반복적인 탐색 시작 하에서 Q-추정치의 장기적 행동을 모델링한다.
• 각 상태-행동 쌍이 무한히 많이 방문될 경우 Q-값이 기대 수익률로 수렴함을 보여주어 정책 안정성을 확보한다.
• 모든 상태-행동 쌍이 무한히 많이 갱신되도록 초기 상태-행동 쌍에 대한 순환적 탐색 전략을 활용하여 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 균일한 탐색이나 할인 수익률이 필요 없이, 넓은 범위의 MDP에서 원래의 몬테카를로 탐색 시작(MCES) 알고리즘이 거의 확실하게 수렴하는가?
• RQ2 강한 수렴 법칙에 기반한 단순한 귀납적 증명 기법이 복잡한 확률적 근사 방법을 대체할 수 있는가?
• RQ3 MCES가 수렴하지 않는 MDP의 구조는 무엇이며, 어떤 구조적 특성(예: 상태 재방문)이 이 실패를 초래하는가?
• RQ4 최적 정책이 상태를 재방문하지 않는 에피소딕 환경에서 MCES의 수렴이 가능한가?
• RQ5 Q-값 추정치가 안정화되고 정책이 수렴하기 위한 조건는 무엇인가, 특히 매 에피소드당 하나의 Q-값만 갱신되는 경우에도 말이다?

주요 결과

• 최적 정책 피드포워드 MDPs에서 MCES 알고리즘이 거의 확실하게 수렴한다. 여기서 최적 정책 하에 상태가 재방문되지 않는다.
• 증명은 단지 강한 수렴 법칙에 의존하여, 확률적 근사나 균일한 탐색이 필요 없음을 입증한다.
• 최적 정책 하에 상태 재방문이 발생하는 MDP에서는 MCES가 수렴하지 않으며, Q-값 갱신에서 순환적 행동을 보이는 반례로 이를 입증한다.
• 각 상태-행동 쌍이 무한히 많이 초기 상태-행동 쌍으로 선택될 경우, Q-값은 기대 몬테카를로 수익률로 수렴한다.
• Q-값이 수렴하고 더 이상 정책 향상이 일어나지 않을 때 정책이 안정화되며, 이는 연구된 MDP 클래스에서 보장된다.
• 증명은 Q-값 공간의 영역 간 진동이 무한히 지속될 수 없음을 보여주어 안정된 추정치로의 최종 수렴을 보장한다.