[논문 리뷰] Exploration-Exploitation Trade-off in Reinforcement Learning on Online Markov Decision Processes with Global Concave Rewards

Wang Chi Cheung|arXiv (Cornell University)|2019. 05. 15.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 11

한 줄 요약

이 논문은 전역 축락 보상이 있는 온라인 마르코프 결정 과정에서, 에이전트가 시간에 따라 다중 결과를 균형 잡아야 하는 맥락에서 무결함 없는 알고리즘인 Toc-UCRL2를 제안한다. 새로운 기울기 임계값 절차를 도입하여 업데이트를 지연시킴으로써, 비정상적인 정책이 탐색과 이용의 상호 보완적 갈등을 효과적으로 관리할 수 있도록 하며, 평균 보상 설정에서 $ O(T^{-1/3}) $ 수준의 거의 최적의 손실 한계를 달성한다.

ABSTRACT

We consider an agent who is involved in a Markov decision process and receives a vector of outcomes every round. Her objective is to maximize a global concave reward function on the average vectorial outcome. The problem models applications such as multi-objective optimization, maximum entropy exploration, and constrained optimization in Markovian environments. In our general setting where a stationary policy could have multiple recurrent classes, the agent faces a subtle yet consequential trade-off in alternating among different actions for balancing the vectorial outcomes. In particular, stationary policies are in general sub-optimal. We propose a no-regret algorithm based on online convex optimization (OCO) tools (Agrawal and Devanur 2014) and UCRL2 (Jaksch et al. 2010). Importantly, we introduce a novel gradient threshold procedure, which carefully controls the switches among actions to handle the subtle trade-off. By delaying the gradient updates, our procedure produces a non-stationary policy that diversifies the outcomes for optimizing the objective. The procedure is compatible with a variety of OCO tools.

연구 동기 및 목표

• 온라인 MDP에서 다중 결과와 전역 축락 보상 함수를 가진 맥락에서 미묘한 탐색-이용 갈등을 다루기.
• 비점근적 설정에서 평균 다중 결과 보상에 대해 비선형이고 전역적인 목표를 최적화하는 무결함 없는 학습 알고리즘 설계.
• 다중 순환 클래스를 가진 MDP에서 정상적인 정책이 비최적임을 극복하기 위해 제어된 행동 전환을 가능하게 하기.
• 온라인 볼록 최적화(OCO) 도구와 UCRL2를 융합하여 복잡한 보상 구조 하에서 확장 가능하고 적응 가능한 정책 학습을 위한 접근 개발.
• 상태 전환 중 목표 성능 유지를 위해 업데이트를 지연시키는 기울기 임계값 절차 개발.

제안 방법

• UCRL2를 통한 모델 학습과 OCO를 통한 보상 균형 조절을 융합한 하이브리드 알고리즘인 Toc-UCRL2를 제안.
• 행동 간 전환 중 성능 손실를 줄이기 위해 기울기 업데이트를 지연시키는 새로운 기울기 임계값 절차를 도입.
• 거울 내림(descents)에 1-강하게 볼록한 거울 지도를 사용하여 이중 변수 업데이트의 안정성과 수렴성을 보장.
• 신뢰구간을 활용한 에피소드 기반 학습을 통해 불확실성이 임계값을 초과할 경우 정책 업데이트를 트리거.
• 누적 기울기 변동을 기반으로 한 정지 조건을 적용하여 행동 전환 시점을 제어하고 목표 성능 저하를 최소화.
• 기울기 변동에 의해 유도된 에피소드 수($ M^{ ext{TMD}}_{ ext{Ψ}}(T) $)와 방문 빈도 수($ M^{ ext{TMD}}_{ u}(T) $)를 분석하여 손실 한계 유도.

실험 결과

연구 질문

• RQ1 정상적인 정책이 비최적일 경우, 전역 축락 보상이 있는 온라인 MDP에 대해 무결함 없는 알고리즘을 설계할 수 있는가?
• RQ2 행동 간 전환을 어떻게 제어할 수 있을까? 성능 손실를 최소화하면서 다중 결과를 균형 잡는 데 기여한다.
• RQ3 다중 순환 클래스를 가진 MDP에서 탐색, 이용, 결과 균형 조절 간 최적의 상호 보완적 갈등은 무엇인가?
• RQ4 비정상적인 정책이 다중 결과, 비선형 목표를 가진 평균 보상 설정에서 거의 최적의 손실 한계를 달성할 수 있는가?
• RQ5 온라인 볼록 최적화 도구는 어떻게 조정되어야 할까? 축락 보상 함수를 가진 MDP의 구조적 복잡성을 다룰 수 있도록.

주요 결과

• 제안된 Toc-UCRL2 알고리즘은 $ O\big((L' + \frac{\tilde{L}D}{\tilde{Q}} + \tilde{L}\tilde{Q}) \norm{\bm{1}_K} T^{-1/3} + \tilde{L}\norm{\bm{1}_K} D \norm{\bm{1}_K} \frac{1}{\tilde{T}^{1/2}} \big) $ 수준의 손실 한계를 달성하며, 이는 비선형이고 거의 최적이다.
• 기울기 임계값 절차는 전환 중 성능 손실를 줄이기 위해 업데이트를 지연시키며, 목표 성능을 훼손하지 않으면서도 다중 결과를 효과적으로 균형 잡는 데 기여한다.
• 기울기 변동에 의해 유도된 에피소드 수는 $ 1 + \tilde{L}' / \tilde{Q} \times T^{2/3} $ 이하로 유계이며, 이는 정책 업데이트 빈도를 제어하고 안정성을 보장한다.
• 알고리즘은 평균 보상 설정에서 $ O(T^{-1/3}) $ 손실 한계를 달성하며, 비정상적이고 다중 결과를 가진 MDP에서 이전 결과를 향상시킨다.
• 이 방법은 다양한 OCO 도구와 호환되며, 온라인 볼록 최적화의 적용 범위를 축락 보상이 있는 구조적 MDP로 확장한다.
• 분석 결과, 다중 순환 클래스를 가진 MDP에서 정상적인 정책은 일반적으로 비최적임을 확인하였으며, 이는 비정상적이고 적응 가능한 정책의 필요성을 정당화한다.