[논문 리뷰] A Multi-Armed Bandit Approach for Online Expert Selection in Markov Decision Processes

Eric Mazumdar, Roy Dong외 3명|arXiv (Cornell University)|2017. 07. 18.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 9

한 줄 요약

이 논문은 다중 보상 밴딧(MAB) 프레임워크를 제안하여 마코프 결정 과정(MDPs)에서 온라인 전문가 정책 선택을 수행하며, 이는 누적 보상 최대화를 위해 여러 사전 훈련된 전문가 정책을 동적으로 선택한다. 지연된 상태 혼합이 있는 MDPs에 상한 신뢰도(UCB) 알고리즘을 적응시킴으로써, 이론적 성능 보장을 보장하는 로그 성장의 오차를 달성한다. 이는 에르고딕성 가정 하에 성립하며, 그리드월드 환경에서 검증된다.

ABSTRACT

We formulate a multi-armed bandit (MAB) approach to choosing expert policies online in Markov decision processes (MDPs). Given a set of expert policies trained on a state and action space, the goal is to maximize the cumulative reward of our agent. The hope is to quickly find the best expert in our set. The MAB formulation allows us to quantify the performance of an algorithm in terms of the regret incurred from not choosing the best expert from the beginning. We first develop the theoretical framework for MABs in MDPs, and then present a basic regret decomposition identity. We then adapt the classical Upper Confidence Bounds algorithm to the problem of choosing experts in MDPs and prove that the expected regret grows at worst at a logarithmic rate. Lastly, we validate the theory on a small MDP.

연구 동기 및 목표

• 운영 조건이 알려지지 않거나 변할 때 MDPs에서 전문가 정책의 온라인 선택을 위한 프레임워크를 개발하는 것.
• 상태 전이와 보상 값이 시간 단계 간에 상호 연결되어 있는 MDPs에서 전문가 간의 동적 전환 문제를 다루는 것.
• 누적 보상과 최적 전문가의 정적 상태 보상 간의 차이로 정의된 오차를 성능 척도로 사용하는 것.
• 전문가 정책에 의해 유도된 마코프 체인의 일시적 영향과 혼합 속도를 고려하여 고전적 MAB 이론을 MDPs로 확장하는 것.
• 그리드월드 MDP에서의 실험 결과를 통해 이론적 프레임워크를 검증하여, 오차가 로그 성장하고 환경 변화에 빠르게 적응하는 것을 보여주는 것.

제안 방법

• 각 전문가가 별개의 보상 분포를 가진 정책이므로, MDPs에서의 전문가 선택 문제를 다중 보상 밴딧 문제로 수식화한다.
• 시간 수평 기반 전환 전략을 도입: 각 전문가는 전환 전에 $ T_n $ 단위 시간 동안 사용되며, 일시적 영향이 감소할 수 있도록 혼합 시간을 보장한다.
• 혼합 속도 $ \alpha_e $에 비례하는 항을 포함하는 오차 분해 항을 유도하며, 이는 일시적 오차를 캡처한다.
• 샘플링 빈도와 혼합 시간을 기반으로 한 신뢰 구간을 포함시켜, MDP 설정에 적합하게 상한 신뢰도(UCB) 알고리즘을 수정한다.
• 에르고딕성 가정을 사용하여, 시간 수평 동안의 기대 보상과 전문가의 정적 상태 보상 간의 편차를 경계한다.
• 전이 및 보상 역학의 스토케스 커널 표현을 사용하여, 전문가 정책 하에서 상태 분포의 진화를 공식적으로 분석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 상호 연결된 상태 및 보상 역학을 가진 MDPs에서 온라인 전문가 선택에 대해 다중 보상 밴딧 프레임워크를 효과적으로 적응시킬 수 있는가?
• RQ2 MDPs 환경에서 전문가를 전환할 때 발생하는 일시적 영향을 이론적으로 어떻게 경계할 수 있는가?
• RQ3 MDPs에서 온라인 전문가 선택 알고리즘의 오차 성장률은 무엇이며, 이가 로그 성장함을 증명할 수 있는가?
• RQ4 전문가에 의해 유도된 마코프 체인의 혼합 속도는 실제 보상과 정적 상태 보상 간의 성능 격차에 어떤 영향을 미치는가?
• RQ5 지연된 상태 수렴이 있는 MDPs에서 UCB 알고리즘을 수정하여 오차가 여전히 로그 성장하도록 유지할 수 있는가?

주요 결과

• 에르고딕성 및 혼합 속도 가정 하에, 제안된 MAB 기반 전문가 선택 알고리즘의 기대 오차는 시간에 대해 최대 로그 성장한다. 즉, $ O(\log n) $이다.
• 오차 분해 항을 도출하여, 총 오차가 비최적 전문가 선택의 합과 전문가 마코프 체인의 혼합 속도 $ \alpha_e $에 비례하는 추가 오차 항의 합으로 경계됨을 보여준다.
• 추가 오차 항은 $ \frac{C_e(1 - \alpha_e^{T_n})}{T_n(1 - \alpha_e)} $로 상한이 둔다. 이는 시간 수평 $ T_n $ 이 증가함에 따라 감소한다.
• 그리드월드 MDP에서의 실험적 검증 결과, UCB 기반 알고리즘이 오차가 로그 성장하고 환경 변화에 빠르게 적응하는 것으로 나타났다.
• 훈련 데이터에 명시적으로 포함되지 않은 새로운 또는 변화하는 조건에서도 이론적 성능이 우수함을 보였다.
• 이론적 오차 경계는 보수적이므로, 향후 연구에서 더 날카운 경계를 도출할 수 있을 것으로 기대된다.