[논문 리뷰] Model-Free Non-Stationary RL: Near-Optimal Regret and Applications in Multi-Agent RL and Inventory Control

Weichao Mao, Kaiqing Zhang외 3명|arXiv (Cornell University)|2020. 10. 07.

Advanced Bandit Algorithms Research참고 문헌 64인용 수 9

한 줄 요약

이 논문은 비정상적인 에피소딕 MDPs를 위한 모델 프리 강화학습 알고리즘인 RestartQ-UCB를 제안한다. 이 알고리즘은 재시작 전략과 적응형 낙관 보너스를 사용하여 근사 최적의 동적 리그레트를 달성한다. 이는 정보 이론적 하한선에 거의 근접하는 리그레트 바운드 $\widetilde{O}(S^{1/3}A^{1/3}\Delta^{1/3}HT^{2/3})$ 를 달성하며, 다중 에이전트 RL 및 다중 제품 재고 제어에서 뛰어난 계산 효율성과 성능을 보여준다.

ABSTRACT

We consider model-free reinforcement learning (RL) in non-stationary Markov decision processes. Both the reward functions and the state transition functions are allowed to vary arbitrarily over time as long as their cumulative variations do not exceed certain variation budgets. We propose Restarted Q-Learning with Upper Confidence Bounds (RestartQ-UCB), the first model-free algorithm for non-stationary RL, and show that it outperforms existing solutions in terms of dynamic regret. Specifically, RestartQ-UCB with Freedman-type bonus terms achieves a dynamic regret bound of $\widetilde{O}(S^{\frac{1}{3}} A^{\frac{1}{3}} Δ^{\frac{1}{3}} H T^{\frac{2}{3}})$, where $S$ and $A$ are the numbers of states and actions, respectively, $Δ>0$ is the variation budget, $H$ is the number of time steps per episode, and $T$ is the total number of time steps. We further present a parameter-free algorithm named Double-Restart Q-UCB that does not require prior knowledge of the variation budget. We show that our algorithms are \emph{nearly optimal} by establishing an information-theoretical lower bound of $Ω(S^{\frac{1}{3}} A^{\frac{1}{3}} Δ^{\frac{1}{3}} H^{\frac{2}{3}} T^{\frac{2}{3}})$, the first lower bound in non-stationary RL. Numerical experiments validate the advantages of RestartQ-UCB in terms of both cumulative rewards and computational efficiency. We demonstrate the power of our results in examples of multi-agent RL and inventory control across related products.

연구 동기 및 목표

• 모델 기반 방법의 비정상적인 강화학습에서의 한계, 즉 높은 계산 비용, 비효율적 탐색, 분산형 다중 에이전트 환경와의 호환성 부족을 해결한다.
• 명시적인 모델 추정이 필요 없이 비정상적인 에피소딕 MDPs에서 근사 최적의 동적 리그레트를 달성하는 모델 프리 알고리즘을 개발한다.
• 비정상적인 강화학습에서의 첫 정보 이론적 하한선을 확립하여 제안된 알고리즘의 최적성 검증한다.
• 분산형 다중 에이전트 RL 및 동적 수요가 존재하는 다중 제품 재고 제어와 같은 도전적인 도메인에서의 실용적 적용 가능성을 입증한다.
• 사전에 변동 예산을 알 필요 없이 자동으로 재시작 간격을 조정하는 파라미터 없는 변형인 더블-리스타트 Q-UCB를 설계한다.

제안 방법

• 정해진 간격마다 에이전트의 기억을 재설정하는 재시작 전략을 도입하여 최근 경험에만 집중함으로써 환경의 변화 영향을 줄인다.
• 로컬 변동 예산에 따라 의존하는 추가 낙관 성분을 가진 프리드먼 유형의 보너스 항을 통합하여 비정상성 하에서도 낙관적인 Q-값 추정을 보장한다.
• 환경의 추정된 변동에 기반한 동적 재시작 스케줄을 사용하여 탐색과 이용의 균형을 맞춘다.
• 환경의 전이 및 보상 함수가 시간에 따라 급격히 변화할 수 있는 상태 및 행동 공간을 가진 에피소딕 MDPs에 알고리즘을 적용한다.
• 스톡 수준과 공동 주문 결정을 상태 및 행동로 모델링하여 선형 MDPs 및 다중 제품 재고 제어로 프레임워크를 확장한다.
• 사전에 변동 예산을 알 필요 없이 자동으로 재시작 간격을 조정하는 파라미터 없는 변형인 더블-리스타트 Q-UCB를 설계한다.

실험 결과

연구 질문

• RQ1 모델 기반 추정에 의존하지 않고도 모델 프리 강화학습 알고리즘이 비정상적인 에피소딕 MDPs에서 근사 최적의 동적 리그레트를 달성할 수 있는가?
• RQ2 RestartQ-UCB의 성능은 기존의 모델 기반 및 모델 프리 방법과 비교해 리그레트 및 계산 효율성 측면에서 어떻게 다른가?
• RQ3 비정상적인 MDPs에서 동적 리그레트의 정보 이론적 한계는 무엇이며, 모델 프리 알고리즘이 이 하한선에 거의 근접할 수 있는가?
• RQ4 제안된 방법은 공동 행동 관측이 불가능한 분산형 다중 에이전트 RL 환경에 효과적으로 적용될 수 있는가?
• RQ5 비정상적인 강화학습은 시간에 따라 변하는 수요와 용량 제약 조건이 존재하는 다중 제품 재고 제어 문제를 어떻게 해결할 수 있는가?

주요 결과

• RestartQ-UCB는 $\widetilde{O}(S^{1/3}A^{1/3}\Delta^{1/3}HT^{2/3})$ 의 동적 리그레트 바운드를 달성하며, 이는 정보 이론적 하한선인 $\Omega(S^{1/3}A^{1/3}\Delta^{1/3}H^{2/3}T^{2/3})$ 와 거의 근접한다.
• 모델 기반 방법의 최신 기술보다 누적 보상 측면에서 뛰어나며, 시뮬레이션에서 계산 시간의 0.18%만을 소비한다.
• 제안된 더블-리스타트 Q-UCB 알고리즘은 사전에 변동 예산 $\Delta$ 를 알 필요 없이 동일한 리그레트 바운드를 달성한다.
• 변동이 느린 상대를 가진 다중 에이전트 RL에 성공적으로 적용되어 분산형 환경에서의 강건성을 입증한다.
• 창고 용량 제약 조건이 존재하는 다중 제품 재고 제어에서, 알고리즘은 동일한 리그레트 바운드를 유지하며, 상태 및 행동 공간은 타당한 재고 및 주문 조합으로 정의된다.
• 논문은 비정상적인 강화학습에서 최초의 하한선을 확립하여, RestartQ-UCB의 리그레트 바운드가 $H^{1/3}$ 요소를 제외하고 최적이라는 것을 확인한다.