[논문 리뷰] Provably Efficient Q-Learning with Low Switching Cost

Yu Bai, Tengyang Xie외 2명|arXiv (Cornell University)|2019. 01. 01.

Advanced Bandit Algorithms Research인용 수 22

한 줄 요약

이 논문은 H단계의 에피소드적 MDP에서 하위선형의 손실을 달성하면서 국소적 스위칭 비용이 $O(H^3SA\log K)$인 모델-프리 강화학습 알고리즘인 UCB2 탐색을 적용한 Q-학습을 소개한다. $K$개의 에피소드 동안 이 알고리즘은 하위선형의 손실을 달성하며, $\Omega(HSA)$의 하한을 증명함으로써 적응성 측면에서 거의 최적임을 입증한다. 또한 성능 향상을 이룬 동시 설정으로 자연스럽게 확장 가능하다.

ABSTRACT

We take initial steps in studying PAC-MDP algorithms with limited adaptivity, that is, algorithms that change its exploration policy as infrequently as possible during regret minimization. This is motivated by the difficulty of running fully adaptive algorithms in real-world applications (such as medical domains), and we propose to quantify adaptivity using the notion of \emph{local switching cost}. Our main contribution, Q-Learning with UCB2 exploration, is a model-free algorithm for $H$-step episodic MDP that achieves sublinear regret whose local switching cost in $K$ episodes is $O(H^3SA\log K)$, and we provide a lower bound of $\Omega(HSA)$ on the local switching cost for any no-regret algorithm. Our algorithm can be naturally adapted to the concurrent setting \citep{guo2015concurrent}, which yields nontrivial results that improve upon prior work in certain aspects.

연구 동기 및 목표

• 자주 정책 갱신이 불가능한 실세계 응용에서와 같이 적응성이 제한된 PAC-MDP 알고리즘을 연구하는 것.
• 국소적 스위칭 비용(학습 중 탐색 정책이 변경되는 횟수)의 개념을 사용하여 적응성을 정량화하는 것.
• 정책 스위칭 빈도를 최소화하면서 하위선형의 손실을 달성하는 모델-프리 알고리즘을 설계하는 것.
• 에피소드적 MDP에서 어떤 무손실 알고리즘에 대해서도 스위칭 비용에 대한 이론적 하한을 설정하는 것.
• 제안된 알고리즘을 동시 강화학습 설정으로 확장하여 이전 결과를 향상시키는 것.

제안 방법

• Q-학습 업데이트와 UCB2 기반 탐색을 조합하여 탐색과 이용의 균형을 이루는 Q-학습에 UCB2 탐색을 적용한 알고리즘을 제안한다.
• UCB2에서 유도된 불확실성 추정 기반의 탐색 보너스를 사용하여 낮은 스위칭 빈도로 정책 선택을 이끌어낸다.
• $K$개의 에피소드 동안 국소적 스위칭 비용을 분석하여, $H$는 수명 주기, $S$는 상태 수, $A$는 행동 수일 때 비용이 $O(H^3SA\log K)$로 증가함을 보였다.
• 값 함수 업데이트 빈도를 제어하여 정책 스위칭 횟수를 제한하는 데 새로운 분석 기법을 적용한다.
• 다수의 에이전트가 공유된 경험을 공유하면서 병렬로 학습할 수 있도록 알고리즘을 수정하여 동시 설정에 적응시키며, 효과적인 스위칭 비용을 감소시킨다.
• 하위선형의 손실을 확보하면서도 낮은 적응성을 유지하기 위해 손실 분석 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 에피소드적 MDP에서 어떤 무손실 PAC-MDP 알고리즘에 대해서도 가능한 최소 국소적 스위칭 비용은 얼마인가?
• RQ2 모델-프리 Q-학습 알고리즘이 에피소드적 MDP에서 낮은 스위칭 비용으로 하위선형의 손실을 달성할 수 있는가?
• RQ3 제안된 알고리즘이 이전 작업과 비교하여 동시 강화학습 설정에서 어떻게 성능을 내는가?
• RQ4 제안된 스위칭 비용의 상한이 타당한가, 아니면 향상시킬 수 있는가?
• RQ5 이론적 보장을 유지하면서 알고리즘을 동시 설정으로 자연스럽게 확장할 수 있는가?

주요 결과

• 제안된 UCB2 탐색을 적용한 Q-학습 알고리즘은 H단계의 에피소드적 MDP에서 국소적 스위칭 비용이 $O(H^3SA\log K)$로 하위선형의 손실을 달성한다.
• 어떤 무손실 알고리즘에 대해서도 국소적 스위칭 비용에 대해 $\Omega(HSA)$의 하한을 확립하여 제안된 상한이 거의 최적임을 입증한다.
• 알고리즘은 동시 설정으로 자연스럽게 확장 가능하며, 특정 조건에서는 이전 작업보다 비현저한 향상을 이룬다.
• 스위칭 비용은 에피소드 수 $K$에 대해 로그 스케일링되므로 시간이 지남에 따라 효율적인 적응이 가능함을 나타낸다.
• 이론적 분석을 통해 낮은 적응성은 손실 성능을 악화시키지 않음을 확인하였으며, 민감한 도메인에서의 실용적 구현 가능성을 보여준다.
• 결과적으로 정책 스위칭 횟수를 최소화하는 것이 모델-프리 강화학습에서 뛰어난 학습 성능를 달성하는 데 적합함을 입증한다.