[논문 리뷰] Classification-based Approximate Policy Iteration: Experiments and Extended Discussions

Amir massoud Farahmand, Doina Precup외 2명|arXiv (Cornell University)|2014. 07. 02.

Reinforcement Learning in Robotics참고 문헌 1인용 수 3

한 줄 요약

이 논문은 표본 효율적인 강화학습을 위해 가치 함수와 정책의 정규성을 동시에 활용하는 분류 기반 근사 정책 반복(CAPI) 프레임워크를 소개한다. 가치 함수 추정치로부터 탐욕스러운 행동을 일반화하기 위해 분류기(분류기)를 사용함으로써, CAPI는 뛰어난 표본 효율성을 달성한다—대규모 HIV 조절 작업을 해결하고, 표본 수가 수십만 분의 일 수준으로 줄어든 상태에서 기준 방법들을 능가함을 입증하였다. 이와 동시에 성능 손실과 추정 오차에 대한 이론적 보장을 유지한다.

ABSTRACT

Tackling large approximate dynamic programming or reinforcement learning problems requires methods that can exploit regularities, or intrinsic structure, of the problem in hand. Most current methods are geared towards exploiting the regularities of either the value function or the policy. We introduce a general classification-based approximate policy iteration (CAPI) framework, which encompasses a large class of algorithms that can exploit regularities of both the value function and the policy space, depending on what is advantageous. This framework has two main components: a generic value function estimator and a classifier that learns a policy based on the estimated value function. We establish theoretical guarantees for the sample complexity of CAPI-style algorithms, which allow the policy evaluation step to be performed by a wide variety of algorithms (including temporal-difference-style methods), and can handle nonparametric representations of policies. Our bounds on the estimation error of the performance loss are tighter than existing results. We also illustrate this approach empirically on several problems, including a large HIV control task.

연구 동기 및 목표

• 대규모 강화학습에서의 표본 비효율성 문제를 가치 함수와 정책 정규성을 활용하여 해결하고자 한다.
• 기존의 분류 기반 강화학습 방법을 일반화하고 다양한 정책 표현을 가능하게 하는 통합 프레임워크를 개발하고자 한다.
• CAPI 스타일 알고리즘의 추정 오차와 성능 손실에 대한 이론적 보장을 제공하고자 한다.
• 다양한 환경, 특히 고차원 제어 작업에서 CAPI의 표본 효율성과 안정성에 대한 실험적 검증을 수행하고자 한다.
• 데이터가 부족한 상황에서, 특히 정책이 간단하고 구조적인 형태를 띠는 경우, CAPI가 가치 기반 및 정책 기반 방법을 능가할 수 있음을 보여주고자 한다.

제안 방법

• CAPI는 일반적인 가치 함수 추정기(추정기)를 사용하여 행동-가치 함수를 근사함으로써, TD 스타일 및 LSTD 방법을 포함한 다양한 알고리즘을 활용한 융통성 있는 정책 평가를 가능하게 한다.
• 추정된 행동-가치에 기반해 분류기를 훈련시켜 정책을 학습함으로써, 상태 공간 전반에 걸쳐 탐욕스러운 행동을 일반화하고 정책 정규성을 활용한다.
• 비모수적 정책 표현(예: 결정 트리 또는 k-NN)을 지원함으로써, 데이터에 따라 적응적인 복잡도를 가질 수 있다.
• 정책 평가와 정책 개선이 분리되어 있으므로, 롤아웃 기반 또는 함수 근사 기법을 포함한 어떤 가치 추정 방법이라도 사용할 수 있다.
• 트리 기반 분류기에서 가중치 손실 함수를 사용하여 행동 갭 차이를 강조함으로써, 노이즈가 많은 가치 추정치에 대한 강건성을 향상시킨다.
• 정책 복잡도(예: k-NN의 k 또는 트리의 최소 분할 기준)의 모델 선택은 편향과 분산을 균형 있게 유지하기 위해 문제에 따라 조정되는 작업으로 간주된다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 대규모 강화학습에서 가치 함수와 정책 정규성을 효과적으로 활용할 수 있는가?
• RQ2 표준 가치 기반 방법(Fitted Q-Iteration 등)과 정책 기반 방법(DPI 등)에 비해 CAPI는 표본 효율성이 어떻게 다른가?
• RQ3 정책 공간의 복잡도(예: k-NN의 k 또는 트리 깊이)는 CAPI의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 데이터 수집이 비용이 많이 들고 제한된 상황에서, CAPI는 롤아웃 기반 또는 가치 기반 방법보다 더 나은 성능을 낼 수 있는가?
• RQ5 CAPI 스타일 알고리즘의 추정 오차와 성능 손실에 대해 어떤 이론적 경계를 설정할 수 있는가?

주요 결과

• CAPI는 원추균형 유지 작업에서 Tree-FQI와 Tree-DPI보다 뛰어난 표본 효율성을 보였다. CAPI는 약 10^4개의 표본으로 작업을 해결한 반면, Tree-DPI는 약 3×10^7개의 표본이 필요했다.
• 15,000개의 표본으로 CAPI(ηπ=20)는 50회 실험 전부에서 완벽한 성능를 달성했고, Tree-FQI는 유사한 성능에 도달하기 위해 약 3×10^4개의 표본이 필요했다.
• KNN-CAPI에서 K의 선택은 성능에 뚜렷한 영향을 미쳤으며, 특히 표본 수가 적은 영역에서 그러한 영향이 두드러졌다. 이는 정책 공간의 복잡도가 문제에 따라 조정되어야 함을 시사한다.
• 소규모 정책 공간(예: ηπ=20)을 사용한 CAPI는 제한된 데이터 조건에서도 거의 최적의 성능를 달성했으며, 이는 정책 정규성의 효과적인 활용을 보여준다.
• 초기 학습 단계에서 Tree-CAPI는 Tree-FQI를 능가했으며, 이는 데이터가 부족한 환경에서 정책 기반 일반화가 가치 기반 함수 근사보다 더 표본 효율적일 수 있음을 보여준다.
• CAPI의 계산 비용은 Tree-DPI보다 높았지만, 데이터 요구량이 극적으로 감소함에 따라 데이터 수집이 비용이 많이 드는 상황에서는 CAPI가 더 바람직하다.