[논문 리뷰] Active Exploration in Markov Decision Processes

Jean Tarbouriech, Alessandro Lazaric|arXiv (Cornell University)|2019. 02. 28.

Advanced Bandit Algorithms Research인용 수 22

한 줄 요약

이 논문은 미지의 노이즈 수준 하에서 상태 평균을 정확하게 추정하기 위해 전략적으로 탐색해야 하는 마르코프 결정 과정(MDPs)에서의 능동 탐색을 소개한다. 프랭크-울프 UCB와 새로운 정책 개선 히우리스틱을 조합함으로써 제안된 FW-AME 알고리즘은 $\widetilde{O}(t^{-1/3})$의 리그레트 비율을 달성하며, 제어된 탐색과 혼합 정책이 필요하기 때문에 MDPs에서의 능동 탐색이 다중 암드 밴딧보다 훨씬 더 복잡하다는 것을 보여준다.

ABSTRACT

We introduce the active exploration problem in Markov decision processes (MDPs). Each state of the MDP is characterized by a random value and the learner should gather samples to estimate the mean value of each state as accurately as possible. Similarly to active exploration in multi-armed bandit (MAB), states may have different levels of noise, so that the higher the noise, the more samples are needed. As the noise level is initially unknown, we need to trade off the exploration of the environment to estimate the noise and the exploitation of these estimates to compute a policy maximizing the accuracy of the mean predictions. We introduce a novel learning algorithm to solve this problem showing that active exploration in MDPs may be significantly more difficult than in MAB. We also derive a heuristic procedure to mitigate the negative effect of slowly mixing policies. Finally, we validate our findings on simple numerical simulations.

연구 동기 및 목표

• 모든 노이즈 수준이 알려져 있지 않은 상황에서 상태 평균을 정확하게 추정하는 MDPs에서의 능동 탐색 문제를 체계화하는 것.
• 제약 조건이 있는 MDP 환경에서 노이즈 추정을 위한 탐색과 정확한 평균 예측을 위한 이용 간의 균형을 맞추는 도전 과제를 다루는 것.
• 알려진 MDP 동역학과 에르고딕성 하에서 리그레트가 점점 줄어드는 학습 알고리즘을 개발하는 것.
• 느린 혼합 정책이 추정 정확도에 악영향을 미치는 것을 히우리스틱적 볼록 최적화 절차를 통해 완화하는 것.
• 혼합 성질가 제어 가능한 합성 Garnet MDPs에서의 수치 시뮬레이션을 통해 이론적 결과를 검증하는 것.

제안 방법

• FW-AME 알고리즘은 프랭크-울프 UCB를 MDPs에 확장하여 정책 최적화와 능동 탐색을 통합하고, 신뢰구간 기반의 행동 선택을 사용한다.
• 알고리즘은 상태 분산의 경험적 추정치를 유지하며, 더 많은 샘플이 필요한 고노이즈 상태로 탐색을 이끌어낸다.
• FMH-SDP(Fast Mixing Heuristic - Semidefinite Programming) 기반의 새로운 히우리스틱을 도입하여 더 빠르게 혼합되는 가역 정책을 계산함으로써 추정 안정성을 향상시킨다.
• 리그레트 분석은 정책 분포의 경험적 추정 오차와 FMH-SDP 근사화의 근사 오차로 오차를 두 부분으로 분해한다.
• 알고리즘은 에피소드 단위로 작동하며, 축적된 관측 기반으로 정책을 업데이트하고, 시간이 지남에 따라 수축하는 신뢰구간을 사용하여 수렴을 보장한다.
• 이론적 분석은 리그레트가 $\\widetilde{O}(t^{-1/3})$로 스케일링됨을 보여주며, 이는 알려진 동역학 하에서 MDPs에서 능동 탐색에 대해 처음으로 도출된 비율이다.

실험 결과

연구 질문

• RQ1 상태 전이가 필요하기 때문에 MDPs에서의 능동 탐색은 다중 암드 밴딧에서의 능동 탐색과 본질적으로 어떻게 다를까?
• RQ2 동역학이 알려져 있고 MDP가 에르고딕한 경우, MDPs에서 능동 탐색을 위한 리그레트 최소화 알고리즘을 설계할 수 있는가?
• RQ3 느린 혼합 정책이 평균 추정 정확도에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 더 빠르게 혼합되는 정책을 계산하기 위해 볼록 최적화 프레임워크를 사용할 수 있는가?
• RQ5 알 수 없는 상태 분산을 가진 MDPs에서 능동 탐색의 최적 리그레트 비율은 무엇인가?

주요 결과

• FW-AME 알고리즘은 알려진 동역학 하에서 MDPs에서 능동 탐색에 대해 처음으로 $\widetilde{O}(t^{-1/3})$의 리그레트 비율을 달성한다.
• 리그레트 분석은 정책 추정 오차가 $O(1/\sqrt{\gamma(\widehat{\psi})\tau_k})$로 유계임을 보여주며, 여기서 $\gamma$는 혼합 속도를 측정하고 $\tau_k$는 에피소드 길이다.
• FMH-SDP 히우리스틱은 근사 오차 $\delta_{\tau_k}$를 $O(1/\sqrt{\tau_k})$로 감소시켜 동일한 리그레트 순서를 유지하면서 혼합 성질을 향상시킨다.
• Garnet MDPs에서의 수치 시뮬레이션은 알고리즘이 상태별 노이즈 수준에 적응하고 기준 방법보다 더 높은 추정 정확도를 달성함을 확인한다.
• 리그레트 상한 $\widetilde{O}(1/t^{1/3})$에서 지수 $\theta = 1/3$는 에피소드 길이 $m=3$일 때 최대가 되며, 이는 탐색과 이용 간의 최적 균형을 나타낸다.
• 알 수 없는 상태 분산에 대해 이 방법은 유연하며, 알고리즘이 추정된 노이즈에 따라 샘플링을 동적으로 조정함으로써 고분산 상태에서 정확도를 향상시킨다.