[논문 리뷰] Thompson Sampling for Learning Parameterized Markov Decision Processes

Aditya Gopalan, Shie Mannor|arXiv (Cornell University)|2014. 06. 29.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 23

한 줄 요약

이 논문은 전이 확률과 보상이 저차원 매개변수에 의해 결정되는 매개변수화된 마코프 결정 과정(MDP)을 학습하기 위한 톰슨 샘플링을 제안한다. 이는 공액 또는 곱형태 사전분포가 없더라도, 고전적 등록 경계를 확립하여, 고전적 등록 경계를 통해 비최적 행동이 높은 확률로 로그 수준으로만 선택됨을 보여준다. 이때 상수 요소는 매개변수 공간의 칼리브라-라이블러 기하학을 통한 정보 복잡도를 포함한다.

ABSTRACT

We consider reinforcement learning in parameterized Markov Decision Processes (MDPs), where the parameterization may induce correlation across transition probabilities or rewards. Consequently, observing a particular state transition might yield useful information about other, unobserved, parts of the MDP. We present a version of Thompson sampling for parameterized reinforcement learning problems, and derive a frequentist regret bound for priors over general parameter spaces. The result shows that the number of instants where suboptimal actions are chosen scales logarithmically with time, with high probability. It holds for prior distributions that put significant probability near the true model, without any additional, specific closed-form structure such as conjugate or product-form priors. The constant factor in the logarithmic scaling encodes the information complexity of learning the MDP in terms of the Kullback-Leibler geometry of the parameter space.

연구 동기 및 목표

• 작은 수의 알려지지 않은 매개변수에 의해 결정되는 MDP의 구조를 가진 강화 학습에서 효율적인 탐색 문제를 해결하기 위해.
• 상태 전이 간의 매개변수 상관관계를 활용하여 학습 효율성을 향상시키는 톰슨 샘플링 기반 알고리즘을 개발하기 위해.
• 공액성과 같은 특정한 사전분포 구조(예: 공액성)가 필요하지 않은 일반적인 매개변수화된 MDP에서 톰슨 샘플링의 고전적 등록 경계를 유도하기 위해.
• 매개변수 공간의 칼리브라-라이블러 기하학을 통해 MDP 학습의 정보 복잡도를 정량화하기 위해.
• 사전분포가 진짜 매개변수 근처에 집중되어 있을 경우, 비최적 행동의 선택 횟수가 시간에 따라 로그 수준으로 증가함을 보여주기 위해.

제안 방법

• 알고리즘은 기준 상태에 대한 방문으로 정의되는 사이클 내에서 작동하며, 각 사이클마다 사후분포에서 매개변수를 한 번 샘플링하고, 그 샘플에 대해 최적 정책을 사이클 전반에 걸쳐 실행한다.
• 각 사이클 이후 관측된 보상과 전이 정보를 통합하여 매개변수 공간에 대한 사후분포를 베이지안 업데이트로 개선한다.
• 표본 경로 기반의 농도 분석을 도입하여 경험적 보상과 기대값 간의 이탈을 제한하며, 마코프 성질과 재생 보상 정리를 활용한다.
• 누적 등록 경계는 사이클 기반 기여로 분해하고, 尾 꼬리 불등식과 확률적 지배를 이용하여 기대 이탈을 유계로 제한함으로써 유도된다.
• 로그 스케일링의 상수 요소는 진짜 MDP와 후보 모델 간의 가중된 칼리브라-라이블러 발산을 포함하는 최적화 문제의 해로 기술된다.
• 분석은 학습 문제의 정보 복잡도를 특히 국소적 칼리브라-라이블러 발산을 통해 매개변수 공간의 기하학과 연결한다.

실험 결과

연구 질문

• RQ1 공액 또는 곱형태 사전분포가 없더라도, 매개변수화된 MDP에서 톰슨 샘플링이 로그 등록 경계를 달성할 수 있는가?
• RQ2 특히 칼리브라-라이블러 기하학을 통해 매개변수 공간의 구조가 MDP에서 톰슨 샘플링의 등록 스케일링에 어떤 영향을 미치는가?
• RQ3 단일 상태 전이 관측이 매개변수화된 설정에서 관측되지 않은 MDP 부분에 대한 학습에 얼마나 기여할 수 있는가?
• RQ4 후보 샘플링 빈도(사이클 길이)가 매개변수화된 MDP에서 탐색과 이용의 균형을 어떻게 조절하는가?
• RQ5 칼리브라-라이블러 발산으로 측정된 MDP의 정보 복잡도가 등록 경계의 상수 요소에 어떤 영향을 미치는가?

주요 결과

• 비최적 행동의 선택 횟수가 시간에 따라 높은 확률로 로그 수준으로 증가함을 보여주며, 일반적인 매개변수 공간과 비공액 사전분포에서도 성립한다.
• 등록 경계의 순서는 $ O\big(\big(\frac{T}{\bar{\tau}_{c^{\bullet}}}\big)^{1/2} \big( \frac{\tau_{\text{max}}}{\bar{\tau}_{c^{\bullet}}} \big)^{1/2} \big) $ 이며, 여기서 $ \bar{\tau}_{c^{\bullet}} $ 는 최적 정책에 대한 평균 사이클 길이다.
• 로그 스케일링의 상수 요소는 진짜 MDP와 대체 모델 간의 가중된 칼리브라-라이블러 발산을 포함하는 최적화 문제의 해로 결정된다.
• MDP 학습의 정보 복잡도는 매개변수 공간의 칼리브라-라이블러 기하학에 자연스럽게 포함되며, 상태 전이 간의 구조적 의존성을 반영한다.
• 매개변수 공간이 저차원일 경우, 상태 공간이 크더라도 평탄한 밴딧 접근법에 비해 상당히 향상된 등록 스케일링을 달성한다.
• 이 분석은 공액형 사전분포의 폐쇄형 구조에 의존하지 않는, 첫 번째 갭-의존적, 문제-의존적 등록 경계를 MDP에서 톰슨 샘플링에 대해 확립한다.