[논문 리뷰] Incremental Model-based Learners With Formal Learning-Time Guarantees

Alexander L. Strehl, Lihong Li외 1명|arXiv (Cornell University)|2012. 06. 27.

Machine Learning and Algorithms참고 문헌 11인용 수 17

한 줄 요약

이 논문은 실시간 동적 프로그래밍(RTDP)을 사용하여 각 단계에서 내부 모델을 완전히 해결하지 않음으로써 계산 비용을 크게 감소시키면서도 PAC-MDP 학습 보장을 유지하는 증분형 모델 기반 강화학습 알고리즘인 RTDP-RMAX와 RTDP-IE를 제안한다. 주요 기여는 계산을 줄였음에도 불구하고 학습 오류 수에 대한 다항식 경계를 증명함으로써, 큰 규모의 MDP에서 공식적인 시간 복잡도 보장을 갖는 효율적인 학습을 가능하게 한다.

ABSTRACT

Model-based learning algorithms have been shown to use experience efficiently when learning to solve Markov Decision Processes (MDPs) with finite state and action spaces. However, their high computational cost due to repeatedly solving an internal model inhibits their use in large-scale problems. We propose a method based on real-time dynamic programming (RTDP) to speed up two model-based algorithms, RMAX and MBIE (model-based interval estimation), resulting in computationally much faster algorithms with little loss compared to existing bounds. Specifically, our two new learning algorithms, RTDP-RMAX and RTDP-IE, have considerably smaller computational demands than RMAX and MBIE. We develop a general theoretical framework that allows us to prove that both are efficient learners in a PAC (probably approximately correct) sense. We also present an experimental evaluation of these new algorithms that helps quantify the tradeoff between computational and experience demands.

연구 동기 및 목표

• RMAX와 MBIE와 같은 모델 기반 강화학습 알고리즘의 높은 계산 비용 문제를 해결하기 위해, 각 단계에서 모델를 완전히 해결해야 하는 점을 해결하기 위해.
• 강력한 이론적 학습 보장을 유지하면서도 더 빠른 증분 학습 알고리즘을 개발하기 위해.
• 반복적인 전체 모델 해결을 피하여 대규모 MDP에서 효율적인 학습을 가능하게 하기 위해.
• 새로운 알고리즘이 다항식 오류 수 경계를 갖는 PAC-MDP 학습자임을 증명하기 위해.

제안 방법

• 모델 기반 학습자의 내부 모델에 실시간 동적 프로그래밍(RTDP)을 적용하여, 전체 정책 계산 대신 부분적인 가치 업데이트만 수행한다.
• 낙관적 초기화를 사용: 모든 상태-행동 쌍에 대해 Q1(s,a) = 1/(1−γ)로 설정하여 탐색을 장려한다.
• RTDP-RMAX의 경우 고정된 탐색 임계값 m을 적용한다: 행동은 m번 경험된 후에만 업데이트되며, 방문되지 않은 행동은 최대 수상한 보상으로 간주한다.
• RTDP-IE의 경우 간격 추정을 사용한다: 행동 가치의 상한 신뢰도를 최대화하는 행동을 선택함으로써 더 빠르고 집중적인 학습을 가능하게 한다.
• 관측된 경험 기반의 경험적 추정치 ˆTt, ˆRt를 사용하여 Q-값을 벨먼 백업을 통해 업데이트한다.
• 각 타임스텝에서 행동 가치 추정치 Qt(s,a)를 유지하고, 탐욕적 행동 선택을 수행한다: a′ = argmaxa Qt(st,a).

실험 결과

연구 질문

• RQ1 모델 기반 강화학습의 계산 비용을 샘플 효율성이나 학습 보장 없이도 줄일 수 있는가?
• RQ2 RTDP 기반 증분 업데이트가 일반적인 MDP에서 PAC-MDP 학습 경계를 유지할 수 있는가?
• RQ3 다양한 모델 업데이트 전략에 따라 계산 비용과 샘플 복잡도 간의 상호 관계는 어떻게 변화하는가?
• RQ4 간격 추정(IE) 또는 고정 탐색(RMAX 방식) 전략을 사용할 경우, 계산 제약 조건 하에서 수렴 속도는 어떻게 달라지는가?

주요 결과

• RTDP-RMAX와 RTDP-IE는 RMAX와 MBIE에 비해 계산 복잡도가 크게 낮아졌으며, 일부 설정에서는 벨먼 백업 수를 최대 90%까지 감소시켰다.
• 계산을 줄였음에도 불구하고, 두 알고리즘 모두 비-ϵ-최적 행동 수에 대한 다항식 경계를 유지하여, PAC-MDP 학습자임을 입증했다.
• 제한된 모델 설정(크기 3–100)에서, RTDP-IE와 RTDP-RMAX는 누적 보상 15,000에 도달하는 데 각각 4,438 및 5,618회의 백업을 필요로 했으며, MBIE는 60,351회였다.
• 모델 크기를 100으로 늘였을 때, RTDP-IE와 RTDP-RMAX는 계산 비용에 거의 증가가 없었고(각각 4,391 및 4,438회의 백업), 샘플 효율성이 향상되었다.
• RMAX와 MBIE에 비해 훨씬 적은 타임스텝 수로 거의 최적의 누적 보상을 달성했으며, 특히 제한된 모델 영역에서 두드러졌다.
• RTDP-IE/RTDP-RMAX와 RMAX/MBIE 간의 샘플 효율성 격차는 작았지만, 계산 절감 효과는 매우 컸다.