[논문 리뷰] Provably Efficient Adaptive Approximate Policy Iteration.

Botao Hao, Nevena Lazic외 3명|arXiv (Cornell University)|2020. 02. 08.

Advanced Bandit Algorithms Research인용 수 9

한 줄 요약

이 논문은 적응형 학습률과 낙관적 손실 예측을 사용하여, 적대적 온라인 학습을 통해 할인되지 않은 계속되는 MDP에서 O(T^{2/3})의 손실 한계를 달성하는 모델-프리 강화학습 알고리즘인 적응형 근사 정책 반복(Adaptive Approximate Policy Iteration, AAPI)을 소개한다. 이는 함수 근사와 함께 평균 보상 설정에서 이전의 O(T^{3/4}) 손실 한계를 향상시킨다.

ABSTRACT

Model-free reinforcement learning algorithms combined with value function approximation have recently achieved impressive performance in a variety of application domains, including games and robotics. However, the theoretical understanding of such algorithms is limited, and existing results are largely focused on episodic or discounted Markov decision processes (MDPs). In this work, we present adaptive approximate policy iteration (AAPI), a learning scheme which enjoys a O(T^{2/3}) regret bound for undiscounted, continuing learning in uniformly ergodic MDPs. This is an improvement over the best existing bound of O(T^{3/4}) for the average-reward case with function approximation. Our algorithm and analysis rely on adversarial online learning techniques, where value functions are treated as losses. The main technical novelty is the use of a data-dependent adaptive learning rate coupled with a so-called optimistic prediction of upcoming losses. In addition to theoretical guarantees, we demonstrate the advantages of our approach empirically on several environments.

연구 동기 및 목표

• 할인되지 않은 계속되는 MDP에서 가치 함수 근사가 있는 모델-프리 강화학습의 이론적 격차를 메우기 위해.
• 함수 근사 하에 평균 보상 강화학습을 위한 증명 가능하게 효율적인 알고리즘을 개발하기 위해.
• 적대적 온라인 학습 기법을 함수 근사가 있는 강화학습의 가치 함수 근사에 확장하여 손실 한계를 향상시키기 위해.
• 적응형 학습률과 낙관적 예측을 결합한 이론적으로 탄탄한 프레임워크를 제공하기 위해.

제안 방법

• 가치 함수 근사를 온라인 학습 문제로 프레임워크화하여 가치 함수를 손실로 간주한다.
• 이전 기울기의 역학에 기반해 단계 크기를 동적으로 조정하는 데이터 기반 적응형 학습률을 적용한다.
• 미래의 손실을 예측하는 낙관적 예측 메커니즘이 적대적 온라인 학습 환경에서 손실 감소에 기여한다.
• 이 방법은 적대적 온라인 학습 이론에 기반하여 정책 개선을 위한 손실 최소화를 활용한다.
• 균일하게 에르고딕한 MDP 내에서 작동하여 장기적 안정성과 수렴성을 보장한다.
• 이론적 분석을 통해 함수 근사가 있는 평균 보상 설정에서 O(T^{2/3})의 손실 한계를 확립한다.

실험 결과

연구 질문

• RQ1 함수 근사가 있는 평균 보상 강화학습에서 O(T^{3/4})보다 더 낫지 않은 손실 한계를 달성할 수 있는가?
• RQ2 적응형 학습률과 낙관적 예측은 가치 함수 근사가 있는 모델-프리 강화학습에서 손실을 어떻게 향상시킬 수 있는가?
• RQ3 적대적 온라인 학습 기법을 이론적 보장과 함께 계속되는 MDP에서 정책 반복에 확장할 수 있는가?
• RQ4 균일하게 에르고딕한 MDP에서 적응형 근사 정책 반복의 이론적 성능 한계는 무엇인가?

주요 결과

• 제안된 AAPI 알고리즘은 할인되지 않은 계속되는 MDP에서 O(T^{2/3})의 손실 한계를 달성하며, 평균 보상 설정에서 이전 최고의 한계인 O(T^{3/4})를 향상시킨다.
• 데이터 기반 적응형 학습률의 사용은 하이퍼파rameter 조정에 대한 민감도를 감소시키고 수렴 안정성을 향상시킨다.
• 미래 손실의 낙관적 예측은 온라인 학습 프레임워크에서 손실 감소에 있어 중요한 기여를 한다.
• 균일하게 에르고딕한 MDP와 함수 근사 가정 하에 알고리즘은 증명 가능하게 효율적이고 이론적으로 탄탄하다.
• 실험 결과는 AAPI가 다양한 환경에서 실용적 이점을 보이며 이론적 이점이 검증됨을 보여준다.
• 적대적 온라인 학습 기법의 통합은 함수 근사가 있는 모델-프리 강화학습에서 더 강력한 이론적 보장을 가능하게 한다.