[논문 리뷰] Adaptive Approximate Policy Iteration

Botao Hao, Nevena Lazic외 3명|arXiv (Cornell University)|2020. 02. 08.

Reinforcement Learning in Robotics참고 문헌 50인용 수 8

한 줄 요약

이 논문은 함수 근사와 함께 할당되지 않은, 계속되는 마르코프 결정 과정에서 $\widetilde{O}(T^{2/3})$의 리그레트 바운드를 달성하기 위해 적응형 데이터 기반 학습률과 가치 함수 변화의 낙관적 예측을 사용하는 모델리스 강화학습 알고리즘인 적응형 근사 정책 반복(Adaptive Approximate Policy Iteration, AAPI)을 제안한다. 이는 이전까지의 최선의 바운드인 $\widetilde{O}(T^{3/4})$를 향상시킨다. 이 방법은 가치 함수를 손실로 간주함으로써 온라인 학습 기법을 활용하고, KL-발산을 통한 정규화를 통해 정책 업데이트의 안정성을 확보한다.

ABSTRACT

Model-free reinforcement learning algorithms combined with value function approximation have recently achieved impressive performance in a variety of application domains. However, the theoretical understanding of such algorithms is limited, and existing results are largely focused on episodic or discounted Markov decision processes (MDPs). In this work, we present adaptive approximate policy iteration (AAPI), a learning scheme which enjoys a $ ilde{O}(T^{2/3})$ regret bound for undiscounted, continuing learning in uniformly ergodic MDPs. This is an improvement over the best existing bound of $ ilde{O}(T^{3/4})$ for the average-reward case with function approximation. Our algorithm and analysis rely on online learning techniques, where value functions are treated as losses. The main technical novelty is the use of a data-dependent adaptive learning rate coupled with a so-called optimistic prediction of upcoming losses. In addition to theoretical guarantees, we demonstrate the advantages of our approach empirically on several environments.

연구 동기 및 목표

• 할당되지 않은, 계속되는 MDP에서 함수 근사가 있는 모델리스 강화학습의 이론적 격차를 메우기 위해.
• 함수 근사가 있는 평균 보상 설정에서 기존의 $\widetilde{O}(T^{3/4})$ 리그레트 바운드를 향상시키기 위해.
• 온라인 학습과 적응형 정규화를 활용한 안정적이고 확장 가능한 정책 반복 프레임워크를 개발하기 위해.
• 가치 함수 평균화와 적응형 학습률이 정책 향상에 있어 이론적으로 타당한 이유를 제시하기 위해.

제안 방법

• 알고리즘은 각 상태에 대해 가치 함수를 손실로 간주함으로써 정책 향상 문제를 온라인 학습 문제로 재구성한다.
• 상태에 따라 달라지는, 데이터 기반의 적응형 학습률을 사용하는 적응형 낙관적 정규화된 후행자 추종자(Adaptive Optimistic Follow-the-Regularized-Leader, AO-FTRL) 업데이트 규칙을 적용한다.
• 정책은 과거 Q-함수 추정치의 누적합에 더하여 다음 손실에 대한 낙관적 예측을 더한 값에 대한 볼츠만 분포로 구성된다.
• 이전 정책에 대한 KL-발산을 통해 정규화를 구현함으로써 정책 업데이트의 안정성을 확보한다.
• 이 방법은 특정 함수 근사 기법에 의존하지 않아 선형 함수 근사기법과 기타 표현 방식에 적용 가능하다.
• 이론적 분석은 $\ell_\infty$-노름에서 Q-함수 추정 오차의 바운드를 확보하고, 균일한 에르고딕성과 같은 MDP 성질을 활용한다.

실험 결과

연구 질문

• RQ1 함수 근사가 있는 평균 보상, 계속되는 MDP 설정에서 $\widetilde{O}(T^{3/4})$보다 더 낫지 않은 리그레트 바운드를 달성할 수 있는가?
• RQ2 적응형 학습률과 낙관적 예측은 근사 정책 반복의 수렴성과 안정성에 어떻게 기여하는가?
• RQ3 가치 함수 추정치의 느린 변화 성질을 활용하여 온라인 학습 기반 강화학습에서 리그레트 바운드를 향상시킬 수 있는가?
• RQ4 함수 근사 설정에서 정책 업데이트의 안정성에 있어 KL-발산을 통한 적응형 정규화는 어떤 역할을 하는가?
• RQ5 특성 표현과 추정 오차에 대해 어떤 가정 하에 $\widetilde{O}(T^{2/3})$ 리그레트를 보장할 수 있는가?

주요 결과

• AAPI는 함수 근사가 있는 균일한 에르고딕성, 할당되지 않은 MDP에서 $\widetilde{O}(T^{2/3})$의 리그레트 바운드를 달성하며, 이는 이전까지의 최선의 바운드인 $\widetilde{O}(T^{3/4})$를 향상시킨다.
• 이 향상은 추정된 Q-함수의 느린 변화 성질을 활용하고 정책 업데이트에서 적응형 데이터 기반 학습률을 사용함으로써 달성된다.
• 이론적 분석은 표준적인 특성 행렬의 규칙성과 추정 오차에 대한 가정 하에 가치 함수의 $\ell_\infty$-노름 추정 오차가 유한함을 입증한다.
• 이 방법은 함수 근사에 대해 강건하다: 특정 함수 클래스에 의존하지 않으며 선형 함수 근사기법과 함께 적용 가능하다.
• 실험 결과는 여러 환경에서 기존 방법들에 비해 AAPI의 실용적 이점을 입증하며, 특히 샘플 효율성과 안정성 측면에서 두드러진다.
• 분석은 MDP 특유의 성질(예: 혼합 시간, 정적 분포)을 통합한 새로운 리그레트 분해를 기반으로 하며, 이를 통해 바운드를 더욱 강화한다.