[논문 리뷰] Markov Decision Processes with Continuous Side Information

Aditya Modi, Nan Jiang외 2명|arXiv (Cornell University)|2017. 11. 15.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 6

한 줄 요약

이 논문은 연속적인 보조 정보를 가진 문맥적 마르코프 결정 과정(CMDPs)에서 강화 학습을 위한 알고리즘을 제안하며, 매끄러운 MDP 변동을 위한 Cover-Rmax와 MDP의 선형 조합을 위한 KWIK_LR-Rmax를 도입한다. PAC 경계를 확립하여 일반 설정에서는 표본 복잡도가 문맥 차원에 대해 지수적으로 의존하는 반면, 선형 구조를 통해 KWIK 학습 기법을 활용하면 복잡도가 크게 향상됨을 보여준다.

ABSTRACT

We consider a reinforcement learning (RL) setting in which the agent interacts with a sequence of episodic MDPs. At the start of each episode the agent has access to some side-information or context that determines the dynamics of the MDP for that episode. Our setting is motivated by applications in healthcare where baseline measurements of a patient at the start of a treatment episode form the context that may provide information about how the patient might respond to treatment decisions. We propose algorithms for learning in such Contextual Markov Decision Processes (CMDPs) under an assumption that the unobserved MDP parameters vary smoothly with the observed context. We also give lower and upper PAC bounds under the smoothness assumption. Because our lower bound has an exponential dependence on the dimension, we consider a tractable linear setting where the context is used to create linear combinations of a finite set of MDPs. For the linear setting, we give a PAC learning algorithm based on KWIK learning techniques.

연구 동기 및 목표

• 각 에피소드가 문맥에 따라 결정되는 다수 또는 무한한 MDP에서 근사 최적 정책을 학습하는 데 도전하는 것.
• MDP 파라미터가 연속적 문맥에 따라 매끄럽게 변하는 상황을 모델링하여 유사한 문맥 간에 데이터 공유를 가능하게 하는 것.
• 유한한 수의 MDP의 선형 조합과 같은 구조적 가정을 통해 표본 복잡도를 감소시키는 것.
• 매끄러움과 선형 파rametric 가정 하에서 학습 효율성을 정량화하는 공식적인 PAC 일반화 경계를 제공하는 것.
• 기존의 많은 PAC-MDP 방법들과 달리, 악성 문맥 시퀀스를 지원하는 것.

제안 방법

• MDP 파라미터가 문맥에 대해 매끄럽게 변한다고 가정함으로써 유사한 문맥 간에 데이터를 통합하는 모델 기반의 PAC 탐색 알고리즘인 Cover-Rmax를 제안한다.
• 모든 PAC 알고리즘이 매끄러운 CMDPs에 대해 문맥 차원에 대해 지수적 의존성을 가져야 하므로, 이는 본질적인 어려움을 시사하는 하한 경계를 구축한다.
• 문맥이 유한한 수의 알려지지 않은 MDP의 선형 조합을 형성하는 선형 설정을 개발하여 구조적 학습을 가능하게 한다.
• 선형 조합 모델에서 MDP 파라미터를 효율적으로 추정하기 위해 KWIK 학습 기법, 특히 KWIK 선형 회귀를 서브루틴으로 사용한다.
• KWIK 회귀를 Rmax 스타일 탐색과 통합하여 표본 효율적인 학습을 보장하는 KWIK_LR-Rmax 알고리즘을 설계한다.
• 두 알고리즘에 대한 PAC 경계를 유도하여, 일반적인 매끄러운 경우에 비해 선형 가정 하에서 표본 복잡도가 향상됨을 보여준다.

실험 결과

연구 질문

• RQ1 MDP 파라미터가 문맥에 따라 매끄럽게 변할 때, 연속적 문맥을 가진 CMDPs에서 학습하는 데 있어 기본적인 표본 복잡도 한계는 무엇인가?
• RQ2 유한한 수의 MDP의 선형 조합과 같은 구조적 가정이 CMDP 학습에서 표본 복잡도를 크게 감소시킬 수 있는가?
• RQ3 매끄러움 가정 하에서, 문맥 차원에 따라 CMDP 학습의 표본 복잡도는 어떻게 스케일링되는가?
• RQ4 KWIK 학습 기법은 Rmax와 같은 모델 기반 강화 학습 알고리즘과 효과적으로 조합되어 선형 CMDPs에서 PAC 학습을 달성할 수 있는가?
• RQ5 표준 PAC-MDP 방법은 문맥에 따라 결정되는 동역학을 가진 CMDPs에 적용했을 때의 한계는 무엇인가?

주요 결과

• 논문은 모든 PAC 알고리즘이 매끄러운 CMDPs에 대해 문맥 차원에 대해 지수적 의존성을 가져야 하므로, 본질적인 어려움을 시사하는 하한 경계를 확립한다.
• 일반적인 매끄러운 CMDP 설정에서, Cover-Rmax 알고리즘은 표본 복잡도가 문맥 차원에 대해 지수적으로 스케일링되는 PAC 학습을 달성한다.
• 선형 조합 가정 하에서, KWIK_LR-Rmax 알고리즘은 훨씬 향상된 표본 복잡도를 달성하며, 문맥 차원에 대한 의존성이 로그 또는 다항식 항목으로 감소된다.
• KWIK_LR-Rmax의 PAC 경계는 선형 회귀에 대한 KWIK 경계에 의존하며, 이는 일반적인 경우에서 차원에 대해 지수적으로 증가함을 알려주므로, 모델링 가정의 중요성을 강조한다.
• 제안된 알고리즘들은 기존의 많은 PAC-MDP 방법들과 달리, 악성 문맥 시퀀스를 지원한다.
• 논문은 상태 공간을 문맥으로 확장하면 계산 및 저장 비용이 증가하지만, 제안된 방법은 문맥과 계획을 분리함으로써 이를 피하는 것을 보여준다.