[논문 리뷰] Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes

K. J. Prabuchandran, Tejas Bodas외 1명|arXiv (Cornell University)|2016. 08. 17.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 3

한 줄 요약

이 논문은 유한한 시간 범위를 가진 마코프 결정 과정(MDP)에서 최적 정책의 알려진 구조(예: 임계값 또는 다중 임계값 정책)를 활용하여 누적 손실을 최소화하는 구조적 강화 학습 알고리즘—pUCB, pThompson, 그리고 웜PSRL—을 제안한다. 다중 암초 기반(MAB) 프레임워크에서 구조적 정책을 암초로 간주하고, 재귀 기반 에피소드를 통해 편향 없는 평균 보상 추정을 보장함으로써, 기존의 최첨단 방법들인 PSRL 및 UCRL에 비해 훨씬 낮은 손실, 더 빠른 수렴 속도, 그리고 더 낮은 계산 비용을 달성한다.

ABSTRACT

A recent goal in the Reinforcement Learning (RL) framework is to choose a sequence of actions or a policy to maximize the reward collected or minimize the regret incurred in a finite time horizon. For several RL problems in operation research and optimal control, the optimal policy of the underlying Markov Decision Process (MDP) is characterized by a known structure. The current state of the art algorithms do not utilize this known structure of the optimal policy while minimizing regret. In this work, we develop new RL algorithms that exploit the structure of the optimal policy to minimize regret. Numerical experiments on MDPs with structured optimal policies show that our algorithms have better performance, are easy to implement, have a smaller run-time and require less number of random number generations.

연구 동기 및 목표

• 최적 정책의 구조(예: 임계값 또는 다중 임계값 정책)가 알려진 경우, 유한한 시간 범위의 MDP에서 누적 손실를 최소화하는 것.
• 최적 정책의 구조적 지식을 활용하여 손실 최소화 성능을 향상시키는 모델-프리 강화 학습 알고리즘을 개발하는 것.
• UCRL 및 PSRL와 같은 기존 알고리즘들이 손실 최소화 과정에서 알려진 정책 구조를 활용하지 않는 한계를 해결하는 것.
• 재귀 기반 에피소드 길이를 사용하여 장기 평균 보상의 편향 없는 추정을 보장함으로써, 추정을 손상시키는 임의의 에피소드 길이를 피하는 것.
• 최첨단 알고리즘들과 비교해도 손실 성능을 유지하거나 향상시키면서 계산 비용과 샘플 비용을 줄이는 것.

제안 방법

• 구조적 정책을 다중 암초 기반(MAB) 프레임워크에서 암초로 간주함으로써, UCB 및 톰슨 샘플링 원리를 강화 학습에 적용할 수 있도록 하는 것.
• 재귀 시간을 사용하여 에피소드 길이를 정의함으로써, 각 정책이 상태에서 다시 그 상태로 돌아오는 방식으로 적용되도록 하여 평균 보상의 편향 없는 추정이 가능하도록 하는 것.
• pUCB에서는 각 정책의 평균 보상에 대한 상한 신뢰 구간을 유지하고, 정책 수준의 추정치에 맞춰진 UCB 스타일의 탐색 전략을 사용하는 것.
• pThompson에서는 정책의 평균 보상에 대한 사후 확률 분포를 유지하고, 이 분포에서 샘플링하여 정책을 선택함으로써 MAB에서의 톰슨 샘플링에 영감을 받는 것.
• warmPSRL는 먼저 pThompson을 사용해 MDP 파라미터를 초기 단계에서 추정한 후, 이 추정치를 사전 확률로 사용해 PSRL로 전환하는 방식으로 구현하는 것.
• 직접 전이 및 보상 행렬을 추정하는 대신, 정책의 평균 보상을 직접 추정함으로써 모델-프리 동작을 보장하는 것.

실험 결과

연구 질문

• RQ1 MDP에서 최적 정책의 알려진 구조적 특성을 강화 학습의 손실 최소화에 활용할 수 있는가?
• RQ2 구조적 정책을 밴딧 프레임워크의 암초로 간주함으로써 손실 성능 및 계산 효율성에 어떤 영향을 미치는가?
• RQ3 재귀 기반 에피소드 길이의 사용이 평균 보상 추정 정확도와 손실 최소화에 어떤 영향을 미치는가?
• RQ4 pUCB와 pThompson는 PSRL 및 UCRL에 비해 손실, 수렴 속도, 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ5 pThompson를 사용한 온전한 초기화 전략이 PSRL의 초기 학습 단계 성능을 향상시킬 수 있는가?

주요 결과

• pUCB와 pThompson는 정책 구조를 더 잘 활용함으로써, 특히 느린 서버 문제에서 초기 학습 라운드에서 PSRL 및 UCRL를 크게 능가한다.
• 기계 교체 문제에서는 pThompson가 첫 100,000라운드 동안 PSRL보다 낮은 손실을 기록하여 초기 학습 성능이 뛰어나다는 것을 입증한다.
• warmPSRL는 전반적으로 PSRL 수준의 손실 성능을 달성하면서도 초반 손실이 더 낮아, pThompson를 통한 파라미터 추정에 효과적으로 활용된 것으로 나타났다.
• 제안된 알고리즘들은 PSRL 및 UCRL보다 낮은 난수 생성 횟수와 짧은 실행 시간을 기록하여 더 낮은 계산 비용을 유도한다.
• 수치 실험을 통해 정책 구조를 활용하면 제한된 샘플 데이터 조건에서도 더 빠른 수렴과 향상된 손실 최소화 성능을 달성할 수 있음을 확인하였다.
• 재귀 기반 에피소드의 사용은 평균 보상 추정의 편향 없는 성질을 보장하며, 이는 임의의 에피소드 길이를 가정하는 알고리즘들에 비해 핵심적인 기술적 이점이다.