[논문 리뷰] Algorithms and Bounds for Sampling-based Approximate Policy Iteration

Christos Dimitrakakis, Michail G. Lagoudakis|arXiv (Cornell University)|2008. 01. 01.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 연속 상태 공간에서 정책 반복을 위한 샘플 효율적인 샘플링 전략을 제안하며, 균일한 롤아웃 샘플링을 상태가 필요한 곳에만 샘플을 할당하는 적응형 할당 방법으로 대체함으로써 이를 달성한다. 이 방법은 간단한 격자 기반 상태 커버리지와 분류기 기반 정책 표현을 사용하여 샘플 복잡도를 크게 감소시키면서도 정책 성능을 유지한다.

ABSTRACT

Several approximate policy iteration schemes without value functions, which focus on policy representation using classifiers and address policy learning as a supervised learning problem, have been proposed recently. Finding good policies with such methods requires not only an appropriate classifier, but also reliable examples of best actions, covering the state space sufficiently. Up to this time, little work has been done on appropriate covering schemes and on methods for reducing the sample complexity of such methods, especially in continuous state spaces. This paper focuses on the simplest possible covering scheme (a discretized grid over the state space) and performs a sample-complexity comparison between the simplest (and previously commonly used) rollout sampling allocation strategy, which allocates samples equally at each state under consideration, and an almost as simple method, which allocates samples only as needed and requires significantly fewer samples.

연구 동기 및 목표

• 연속 상태 공간에서의 샘플 기반 근사 정책 반복의 높은 샘플 복잡도 문제를 해결하기 위해.
• 간단한 격자 이산화를 사용하여 상태 공간 커버리지가 충분하도록 보장함으로써 정책 학습의 신뢰성을 향상시키기 위해.
• 필요한 샘플 수를 줄이기 위해 균일한 롤아웃 샘플링과 적응형 샘플링 전략을 비교하기 위해.
• 적응형 샘플링이 샘플 사용을 최소화하면서도 정책 품질을 유지하는지 평가하기 위해.

제안 방법

• 연속 상태 공간을 균일하게 커버하기 위해 이산화된 격자를 사용한다.
• 최적 행동의 레이블링된 예시를 기반으로 훈련된 분류기를 사용하여 정책을 표현한다.
• 균일한 롤아웃 샘플링을 상태가 필요한 곳에만 샘플을 할당하는 적응형 샘플링 전략으로 대체한다.
• 롤아웃을 통해 행동 레이블을 수집함으로써 정책 학습에 지도 학습을 적용한다.
• 정책 향상에 가장 기여하는 상태에 샘플링을 우선순위를 두는 단순하면서도 효과적인 방법을 사용한다.
• 샘플 효율성과 정책 성능 측면에서 적응형 전략을 균일한 샘플링과 비교한다.

실험 결과

연구 질문

• RQ1 정책 반복에서 적응형 샘플링은 균일한 샘플링에 비해 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ2 간단한 격자 기반 상태 커버리지 체계는 감소된 샘플링으로도 효과적인 정책 학습을 지원할 수 있는가?
• RQ3 샘플 할당 전략이 연속 상태 공간에서 정책 품질에 어떤 영향을 미치는가?
• RQ4 적응형 샘플링은 필요한 롤아웃 수를 크게 줄이면서도 정책 성능을 유지하는가?

주요 결과

• 적응형 샘플링 전략은 균일한 롤아웃 샘플링보다 훨씬 적은 샘플을 요구하면서도 동등한 정책 성능을 달성한다.
• 간단한 격자 이산화를 사용하면 효과적인 정책 학습을 위한 충분한 상태 공간 커버리지가 가능하다.
• 적응형 샘플링은 정책 향상에 가장 기여하는 상태에 집중함으로써 샘플 복잡도를 감소시킨다.
• 샘플링 수가 감소함에도 불구하고 이 방법은 정책 품질을 유지하며 강력한 샘플 효율성을 보여준다.