[논문 리뷰] Algorithms and Bounds for Rollout Sampling Approximate Policy Iteration

Christos Dimitrakakis, Michail G. Lagoudakis|ArXiv.org|2008. 05. 14.

Advanced Bandit Algorithms Research참고 문헌 9인용 수 5

한 줄 요약

이 논문은 연속 MDP에서 근사 정책 반복에 대한 두 가지 롤아웃 샘플링 전략을 제안하고 분석한다. 균일 샘플링과 필요한 곳에만 샘플을 할당하는 적응형 방법을 비교한다. 주요 기여는 이론적으로 샘플 복잡도를 $\epsilon^{-2}$ 정도로 감소시켜, 균일 샘플링보다 효율성을 크게 향상시키면서도 정책 향상에 대한 확률적 보장을 유지한다는 점이다.

ABSTRACT

Several approximate policy iteration schemes without value functions, which focus on policy representation using classifiers and address policy learning as a supervised learning problem, have been proposed recently. Finding good policies with such methods requires not only an appropriate classifier, but also reliable examples of best actions, covering the state space sufficiently. Up to this time, little work has been done on appropriate covering schemes and on methods for reducing the sample complexity of such methods, especially in continuous state spaces. This paper focuses on the simplest possible covering scheme (a discretized grid over the state space) and performs a sample-complexity comparison between the simplest (and previously commonly used) rollout sampling allocation strategy, which allocates samples equally at each state under consideration, and an almost as simple method, which allocates samples only as needed and requires significantly fewer samples.

연구 동기 및 목표

• 연속 MDP에서 근사 정책 반복에 대한 롤아웃 샘플링의 높은 샘플 복잡도 문제를 해결하기 위해.
• 균일 샘플링과 불확실성 기반 적응형 샘플링을 기반으로 한 두 가지 샘플 할당 전략을 분석하고 비교하기 위해.
• 정책 향상에 대해 높은 확률로 성립하는 샘플 복잡도에 대한 이론적 경계를 제공하기 위해.
• 이미 잘 이해된 상태에 대해서는 낭비되는 샘플을 줄이기 위해 균일 샘플링에 대한 의존도를 줄이기 위해.
• 가치함수 없이도 지능적인 샘플링을 가능하게 하는 이론적 기반을 마련하기 위해.

제안 방법

• 정책 학습을 위한 상태 표현을 위해 연속 상태 공간에 대해 이산화된 격자 구조를 사용한다.
• 가치함수 표현 없이도 액션 가치를 추정하고 정책을 향상시키기 위해 롤아웃 시뮬레이션을 활용한다.
• 최적의 액션이 불확실한 곳에만 더 많은 샘플을 할당하는 적응형 샘플링 알고리즘을 제안한다. 이는 신뢰구간 기반으로 한다.
• 집중부등식을 적용하여 잘못된 액션 선택의 확률을 제한함으로써, 높은 확률로 정책 향상을 보장한다.
• 기하학적 커버링 추론과 정책 갭 함수 $\Delta^\pi(s)$의 부드러움에 대한 가정을 사용하여 샘플 복잡도 경계를 유도한다.
• 정책 갭 함수 $\Delta^\pi(s)$의 크기에 따라 상태를 계층적으로 분할함으로써, 높은 샘플 수가 필요한 상태의 수를 제한한다.

실험 결과

연구 질문

• RQ1 정책 향상에 있어 적응형 롤아웃 샘플링과 균일 샘플링 간의 샘플 복잡도는 어떻게 비교되는가?
• RQ2 이론적으로 근거가 있는 샘플링 전략은 필요한 롤아웃 수를 줄여 주어진 정책 회귀를 달성하는 데 기여하는가?
• RQ3 격자 기반 정책 표현을 사용한 연속 MDP에서 적응형 샘플링의 이론적 샘플 복잡도는 무엇인가?
• RQ4 정책 갭 함수의 부드러움은 필요한 샘플 수에 어떤 영향을 미치는가?
• RQ5 합리적인 가정 하에 상태 공간 차원에 관계없이 샘플 복잡도를 독립적으로 경계할 수 있는가?

주요 결과

• 적응형 샘플링 알고리즘이 $\mathcal{O}(\epsilon^{-2})$의 샘플 복잡도를 달성하여, 균일 샘플링의 $\mathcal{O}(\epsilon^{-4})$ 복잡도보다 향상된다는 점.
• 이론적 분석 결과, 적응형 방법은 균일 할당 대비 샘플 복잡도를 $\epsilon^{-2}$ 배만큼 감소시킨다는 점.
• 샘플 복잡도 경계는 정책 갭 함수의 부드러움에 따라 달라지며, 이론적 감소율을 제어하는 지수 $\beta$가 포함된다.
• 경계는 격자 해상도 $\rho$에 따라 스케일되며, 계층의 각 수준에 속하는 상태 수는 측도 이론적 추론을 통해 유한하게 제한된다.
• 분석은 고정된 후보 상태 수 $n$을 가정하며, 이 경계는 확률 최소 $1 - \delta$로 성립한다.
• 결과는 지능적인 샘플링이 고차원 또는 연속 상태 공간에서 특히 높은 효율성을 발휘할 수 있음을 시사한다.