[논문 리뷰] Approximate Modified Policy Iteration

Bruno Scherrer, Victor Gabillon외 2명|arXiv (Cornell University)|2012. 05. 14.

Reinforcement Learning in Robotics참고 문헌 15인용 수 26

한 줄 요약

이 논문은 표준 근사 동적 프ogramming 방법을 확장하는 세 가지 근사 수정 정책 반복(AMPI) 알고리즘—적합값 반복, 적합-Q 반복, 분류 기반 정책 반복—을 제안한다. 통합된 오차 전파 분석과 유한 샘플 경계를 제공하여, MPI의 매개변수 $ m $ 가 값 함수 근사 오차와 분류기 추정 오차 사이의 트레이드오프를 제어함으로써 대규모 MDP에서 성능 제어를 향상시킨다.

ABSTRACT

Modified policy iteration (MPI) is a dynamic programming (DP) algorithm that contains the two celebrated policy and value iteration methods. Despite its generality, MPI has not been thoroughly studied, especially its approximation form which is used when the state and/or action spaces are large or infinite. In this paper, we propose three implementations of approximate MPI (AMPI) that are extensions of well-known approximate DP algorithms: fitted-value iteration, fitted-Q iteration, and classification-based policy iteration. We provide error propagation analyses that unify those for approximate policy and value iteration. On the last classification-based implementation, we develop a finite-sample analysis that shows that MPI's main parameter allows to control the balance between the estimation error of the classifier and the overall value function approximation.

연구 동기 및 목표

• 큰 또는 연속 상태/행동 공간에서 근사 수정 정책 반복(AMPI)에 대한 이론적 분석 부족 문제를 해결하기 위해.
• 단일 AMPI 프레임워크 내에서 근사 값 반복(AVI)과 근사 정책 반복(API)의 오차 전파 분석을 통합하기 위해.
• 분류 기반 AMPI(CBMPI) 구현에 대해 유한 샘플 일반화 경계를 제공하여 MPI 매개변수 $ m $ 이 오차 트레이드오프와 어떻게 연결되는지 밝히기 위해.
• AMPI 가 AVI 와 API 에 비해 근사 오차와 추정 오차 제어 측면에서 더 유연한 대안을 제공함을 보여주기 위해.

제안 방법

• 세 가지 AMPI 변종—AMPI-V(적합값 반복), AMPI-Q(적합-Q 반복), CBMPI(분류 기반 정책 반복)—을 제안하며, 모두 값 함수 공간 $ \fancyscript{F} $ 내에서 함수 근사를 사용한다.
• greedy 정책 선택 단계 $ \text{argmax}_a \text{추정된 } Q(s,a) $ 를 통해 $ \tilde{\nu}_{k+1} $ 를 생성하고, $ m $-단계 평가를 $ (T_{\tilde{\nu}_{k+1}})^m \tilde{\nu}_k $ 를 통해 수행한다.
• 유계 기저 함수를 사용한 선형 함수 근사 $ \fancyscript{F} = \{ f_{\alpha}(\cdot) = \phi(\cdot)^T \alpha \} $ 를 적용하고, 안정성을 위해 추정치를 $ V_{\max} $ 로 절단한다.
• 최소 제곱 회귀를 사용하여 $ (T_{\pi_k})^m v_{k-1} $ 를 추정하고, 농도 부등식을 활용해 오차 경계를 유도한다.
• 반복 수에 대한 유니온 바운드를 적용하여 $ L_1 $-노름 성능 손실을 제어하며, $ \|l_k\|_{1,\mu} $ 를 핵심 성능 지표로 사용한다.
• 회귀 및 분류 오차에 대한 $ \epsilon_1, \epsilon_2 $ 항을 사용한 유한 샘플 경계를 유도하여 $ n, N, M, m $ 에 대한 의존성을 보여준다.

실험 결과

연구 질문

• RQ1 함수 근사를 사용하여 큰 또는 연속적인 MDP에서 수정 정책 반복를 효과적으로 근사할 수 있는가?
• RQ2 AMPI 매개변수 $ m $ 는 값 함수 근사 오차와 정책 분류기 추정 오차 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 AVI 와 API 오차 경계를 일반화하는 통합된 오차 전파 분석을 AMPI 프레임워크에서 유도할 수 있는가?
• RQ4 분류 기반 AMPI(CBMPI) 구현에 대해 유한 샘플 일반화 경계를 어떻게 설정할 수 있는가?
• RQ5 AMPI 는 근사 오차와 수렴 행동 측면에서 AVI 와 API 에 비해 성능 우월성을 보이는가?

주요 결과

• AMPI 프레임워크는 값 반복과 정책 반복을 일반화하며, 대규모 MDP에서 AVI 와 API 사이의 민감한 중간 지점으로 기능한다.
• 통합된 오차 전파 분석이 확립되어, 수축성 또는 단조성 가정 없이도 성능 손실의 $ L_p $-노름이 반복 단계별 오차에 의해 제어됨을 보여준다.
• CBMPI 의 경우 매개변수 $ m $ 가 근사 오차 $ d_m $ 와 추정 오차 $ \epsilon_1, \epsilon_2 $ 사이의 균형을 명시적으로 제어할 수 있으며, 이 트레이드오프는 경계 $ \|l_k\|_{1,\mu} \leq O\left(\gamma^m\left(d_m + \sqrt{m/B}\right) + d' + \sqrt{M|A|m/B}\right) $ 에서 포괄된다.
• 고정된 예산 $ B = nm = NM|A|m $ 를 가정할 때, 경계는 $ m $ 을 증가시킬수록 값 근사 오차는 감소하지만 분류기 추정 오차는 증가함을 보여주며, 이는 최적의 $ m $ 가 존재함을 시사한다.
• 유한 샘플 분석은 실무에서 $ m $ 를 조정하여 추정 오차와 근사 오차를 균형 잡는 데 이론적 근거를 제공한다.
• 실험 결과(부록 G 참조)는 CBMPI 가 표준 벤치마크에서 기존 알고리즘과 경쟁 가능한 성능을 보이며, 실용적 타당성을 뒷받침한다.