[논문 리뷰] Episodic Reinforcement Learning in Finite MDPs: Minimax Lower Bounds Revisited

Omar Darwiche Domingues, Pierre Ménard외 2명|arXiv (Cornell University)|2020. 10. 07.

Evolutionary Algorithms and Applications인용 수 23

한 줄 요약

이 논문은 단계에 따라 변화하는 전이를 갖는 유한 MDP에서 에피소딕 강화 학습에 대한 새로운 최소최대 하한을 확립하며, 비정상적인 MDP의 난이도를 높이기 위해 새로운 클래스의 어려운 MDP를 도입함으로써 (ε, δ)-PAC 최적 정책 식별에 대해 엄밀한 Ω((H³SA/ε²) log(1/δ)) 표본 복잡도 하한과 일치하는 Ω(√(H³SAT))의 손실 하한을 도출한다. 결과는 정보 이론적 도구와 구조화된 보상 차이를 가진 A-진수 트리 기반의 구성 방법을 통해 증명되며, 이는 이 설정에서 비정상적인 MDP에 대한 첫 번째 엄밀한 하한을 제공한다.

ABSTRACT

In this paper, we propose new problem-independent lower bounds on the sample complexity and regret in episodic MDPs, with a particular focus on the non-stationary case in which the transition kernel is allowed to change in each stage of the episode. Our main contribution is a novel lower bound of $\\Omega((H^3SA/\\epsilon^2)\\log(1/\\delta))$ on the sample complexity of an $(\\varepsilon,\\delta)$-PAC algorithm for best policy identification in a non-stationary MDP. This lower bound relies on a construction of "hard MDPs" which is different from the ones previously used in the literature. Using this same class of MDPs, we also provide a rigorous proof of the $\\Omega(\\sqrt{H^3SAT})$ regret bound for non-stationary MDPs. Finally, we discuss connections to PAC-MDP lower bounds.

연구 동기 및 목표

• 단계에 따라 변화하는(비정상적인) 전이 커널을 갖는 MDP에서 에피소딕 강화 학습에 대한 엄밀한 최소최대 하한을 확립함으로써 문헌의 격차를 메우기.
• 단일 클래스의 어려운 MDP를 사용하여 표본 복잡도와 손실 하한 둘 다에 대한 통합적이고 엄밀하며 완전한 증명 프레임워크를 제공하기.
• 이전에 정상적인 MDP에 국한되어 있던 결과를 확장하여, 비정상적인 에피소딕 MDP에서 (ε, δ)-PAC 최적 정책 식별에 대한 첫 번째 표본 복잡도 하한을 증명하기.
• 기존 알고리즘의 최적성과 일치함을 보여줌으로써, 유도된 하한이 BPI-UCBVI 및 낙관적 Q-학습과 같은 최첨단 알고리즘의 상한과 일치함을 입증하기.

제안 방법

• 단일 고보상 잎을 가지며 단계 간 전이 차이가 구조화된 A-진수 트리 기반의 새로운 어려운 MDP 클래스를 구성하여 비정상성을 시뮬레이션하기.
• KL 발산과 핀스커 부등식을 포함한 정보 이론적 도구를 사용하여 다양한 MDP 인스턴스 간 정책 성능을 연결하기.
• 최적 정책이 은닉된 단계 h*, 잎 ℓ*, 및 행동 a*에 따라 달라지는 MDP의 가족 M(h*,ℓ*,a*)을 정의하고, 단계 h*에서 (sℓ*, a*)에 대한 에이전트의 기대 방문 수를 분석하기.
• 코시-슈바르츠 부등식과 KL 발산 분해를 사용하여 모든 MDP 인스턴스에 걸쳐 중요한 상태의 기대 방문 수에 상한을 도출하기.
• 손실 하한의 최대화를 위해 편향 매개변수 ε를 최적화하여 Ω(√(H³SAT))의 하한을 도출하기.
• 표본 복잡도 하한을 증명하기 위해 정책 식별 오류 확률을 MDP 분포 간 총 변동 거리와 연결하기.

실험 결과

연구 질문

• RQ1 단계에 따라 변화하는 전이를 갖는 에피소딕 MDP에서 (ε, δ)-PAC 최적 정책 식별에 대한 최소최대 표본 복잡도는 무엇인가?
• RQ2 비정상적인 에피소딕 MDP에 대해 순서 Ω(√(H³SAT))의 엄밀한 손실 하한을 엄밀하게 확립할 수 있는가?
• RQ3 전이가 단계에 따라 변할 때와 정상적인 경우에 비해 어려운 MDP의 구성 방식은 어떻게 다를까?
• RQ4 Ω(√(H³SAT))의 손실 하한은 엄밀한가? 그리고 기존의 낙관적 알고리즘의 성능과 일치하는가?
• RQ5 동일한 어려운 MDP 구성 방식을 사용하여 표본 복잡도와 손실 하한 둘 다를 유도할 수 있는가?

주요 결과

• 논문은 비정상적인 에피소딕 MDP에서 (ε, δ)-PAC 최적 정책 식별에 대해 Ω((H³SA/ε²) log(1/δ))의 새로운 최소최대 하한을 표본 복잡도로 확립한다.
• 비정상적인 에피소딕 MDP에 대해 Ω(√(H³SAT))의 손실 하한을 처음으로 엄밀하게 증명하며, 진 등(2018)이 완전한 증명 없이 제기한 주장을 확인한다.
• 하한은 이전의 구성 방식과 다름을 보이며, 단일 고보상 잎과 단계에 따라 변화하는 보상 구조를 가진 A-진수 트리 기반의 새로운 어려운 MDP 클래스를 사용하여 도출된다.
• 동일한 어려운 MDP 구성은 표본 복잡도와 손실 하한 둘 다를 유도하며, 두 주요 성능 지표 간 분석을 통합한다.
• 유도된 하한은 기존 알고리즘의 상한과 일치한다: 표본 복잡도의 경우 BPI-UCBVI, 손실의 경우 낙관적 Q-학습으로, 이는 최적성의 가능성을 시사한다.
• 나무 깊이 d에 대한 가정에 대해 결과가 강건하며, d ≤ H/3일 경우 하한은 Ω(√(H³SAT))로 유지되며, 이를 초과하면 하한은 지수적으로 악화된다.