[논문 리뷰] On the Sample Complexity of Reinforcement Learning with a Generative Model

Mohammad Gheshlaghi Azar, Rémi Munos외 1명|arXiv (Cornell University)|2012. 06. 27.

Reinforcement Learning in Robotics참고 문헌 19인용 수 41

한 줄 요약

이 논문은 할인 마코프 결정 과정에서 생성 모델을 가진 강화 학습에 대해 처음으로 날카운 샘플 복잡도 한계를 확립한다. 모델 기반 값 반복이 확률 1−δ로 ε-최적성을 달성하기 위해 O(N log(N/δ)/((1−γ)^3ε²))개의 샘플이 필요하다는 것을 증명하고, 이 비율이 N, ε, δ 및 1/(1−γ)에 대해 최적이라는 것을 보여주는 매칭 하한선을 제공한다.

ABSTRACT

We consider the problem of learning the optimal action-value function in the discounted-reward Markov decision processes (MDPs). We prove a new PAC bound on the sample-complexity of model-based value iteration algorithm in the presence of the generative model, which indicates that for an MDP with N state-action pairs and the discount factor γ\in[0,1) only O(N\log(N/δ)/((1-γ)^3ε^2)) samples are required to find an ε-optimal estimation of the action-value function with the probability 1-δ. We also prove a matching lower bound of Θ(N\log(N/δ)/((1-γ)^3ε^2)) on the sample complexity of estimating the optimal action-value function by every RL algorithm. To the best of our knowledge, this is the first matching result on the sample complexity of estimating the optimal (action-) value function in which the upper bound matches the lower bound of RL in terms of N, ε, δand 1/(1-γ). Also, both our lower bound and our upper bound significantly improve on the state-of-the-art in terms of 1/(1-γ).

연구 동기 및 목표

• 생성 모델이 제공될 때 강화 학습의 샘플 복잡도에 대한 날카운 이론적 한계를 확립하는 것.
• 최적의 행동가치 함수를 학습하는 데 있어 샘플 효율성 측면에서 모델 기반 값 반복의 성능을 분석하는 것.
• 생성 모델 가정 하에 기존 상한선과 하한선 사이의 샘플 복잡도 격차를 해소하는 것.
• 샘플 복잡도에서 1/(1−γ)에 대한 의존성이 최적이며, 이는 이전 결과보다 크게 향상된다는 것을 보여주는 것.
• N, ε, δ 및 1/(1−γ) 측면에서 일치하는 상한선과 하한선을 제공하여, 이 설정에서 샘플 복잡도의 첫 번째 날카운 특성화를 확립하는 것.

제안 방법

• 전이 및 보상이 확률적 시뮬레이터에서 샘플링되는 생성 모델 하에서 모델 기반 값 반복 알고리즘을 분석한다.
• 집중 부등식을 사용하여 가치 함수 추정 오차에 대한 새로운 PAC 스타일 일반화 한계를 유도한다.
• N개의 상태-행동 쌍에 대한 균일 수렴 추론을 적용하여 경험적 Q-값이 진짜 Q-값에서 벗어나지 않는 정도를 제한한다.
• 샘플 복잡도에 대한 하한선을 증명하기 위해 어려운 MDP 인스턴스를 구성한다. 이는 어떤 강화 학습 알고리즘도 Ω(N log(N/δ)/((1−γ)^3ε²))개 이하의 샘플로 더 나은 성능을 달성할 수 없다는 것을 보여준다.
• 최소 최대 원리와 정보 이론 기법을 사용하여 하한선을 도출하며, 상한선과 모든 매개변수에서 일치시킨다.
• 샘플 복잡도에서 1/(1−γ)에 대한 의존성이 날카로우며, 이는 이전 결과에서 더 느슨한 의존성에 비해 향상된다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 생성 모델이 있는 MDP에서 최적의 행동가치 함수를 학습하는 데 최적의 샘플 복잡도는 무엇인가?
• RQ2 모델 기반 값 반복의 샘플 복잡도 상한선이 모든 관련 매개변수에 대해 하한선과 일치할 수 있는가?
• RQ3 할인 인자 γ에 대한 의존성은 샘플 복잡도에 어떻게 영향을 미치며, 이는 날카로운가?
• RQ4 제안된 상한선은 1/(1−γ) 요소 측면에서 최신 기술보다 향상되었는가?
• RQ5 생성 모델 가정 하에 모든 강화 학습 알고리즘에서 모델 기반 값 반복의 샘플 복잡도는 최적이인가?

주요 결과

• 모델 기반 값 반복 알고리즘은 확률 1−δ로 ε-최적 행동가치 함수를 달성하기 위해 O(N log(N/δ)/((1−γ)^3ε²))개의 샘플이 필요하다.
• 매칭 하한선 Ω(N log(N/δ)/((1−γ)^3ε²))이 증명되었으며, 이는 N, ε, δ 및 1/(1−γ) 측면에서 어떤 강화 학습 알고리즘도 더 나은 샘플 복잡도를 달성할 수 없다는 것을 보여준다.
• 이전 결과에 비해 1/(1−γ)에 대한 의존성이 강화되어 상한선이 크게 향상되었으며, 이는 이전 문헌에서 최적이 아니었던 부분을 개선했다.
• 이 연구는 생성 모델 설정에서 최적(행동-)가치 함수 추정의 샘플 복잡도에 대해 처음으로 일치하는 상한선과 하한선을 확보한 작업이다.
• 이 결과는 샘플 복잡도가 상태-행동 쌍 수 N, 신뢰 수준 δ, 정확도 ε 및 할인 인자 γ에 의해 본질적으로 제한된다는 것을 입증한다.
• 분석을 통해 1/(1−γ)^3 스케일링이 피할 수 없고 최적이며, 생성 모델을 사용한 강화 학습의 샘플 복잡도에 대한 오랫동안 남아있던 열린 질문을 해결한다.