[논문 리뷰] Contextual Markov Decision Processes

Assaf Hallak, Dotan Di Castro외 1명|arXiv (Cornell University)|2015. 02. 08.

Reinforcement Learning in Robotics참고 문헌 24인용 수 72

한 줄 요약

이 논문은 사용자 인구통계학적 특성과 같은 잠재적 정적 맥락 하에서 순차적 의사결정을 모델링하기 위한 프레임워크인 컨텍스트 마르코프 결정과정(CMDP)을 소개한다. 탐색, 군집화, 이용을 조합한 모odu lar 알고리즘인 CECE를 제안하며, 이는 맥락에 따라 달라지는 MDP를 증명 가능한 리그레트 한계와 함께 학습한다. 더 많은 데이터와 더 긴 궤적을 통해 성능 향상을 보여준다.

ABSTRACT

We consider a planning problem where the dynamics and rewards of the environment depend on a hidden static parameter referred to as the context. The objective is to learn a strategy that maximizes the accumulated reward across all contexts. The new model, called Contextual Markov Decision Process (CMDP), can model a customer's behavior when interacting with a website (the learner). The customer's behavior depends on gender, age, location, device, etc. Based on that behavior, the website objective is to determine customer characteristics, and to optimize the interaction between them. Our work focuses on one basic scenario--finite horizon with a small known number of possible contexts. We suggest a family of algorithms with provable guarantees that learn the underlying models and the latent contexts, and optimize the CMDPs. Bounds are obtained for specific naive implementations, and extensions of the framework are discussed, laying the ground for future research.

연구 동기 및 목표

• 사용자 연령, 성별, 위치와 같은 관측되지 않은 정적 맥락(예: 사용자 연령, 성별, 위치)에 따라 환경의 동역학이 달라지는 상황에서 MDP를 학습하고 최적화하는 데 도전한다.
• 초기 상호작용 시 사용자 신원이 알려지지 않은 온라인 시스템에서의 콜드 스타트 문제를 해결한다.
• 맥락 식별과 정책 최적화를 분리하는 타당하고 모듈러한 프레임워크를 개발하여, 표준 MDP나 POMDP보다 일반화 능력을 향상시킨다.
• 알려진, 소수의 맥락을 가진 유한한 수의 에피소드 설정에서 리그레트와 수렴에 대한 이론적 보장을 제공한다.
• 무한한 맥락, 동시 강화학습, 대규모 상태/행동 공간에서의 스케일러블 학습을 위한 향후 연구의 기초를 마련한다.

제안 방법

• 전이 및 보상 함수가 은닉된 정적 맥락 변수에 의존하는 새로운 모델인 컨텍스트 MDP(CMDP)를 제안한다.
• 탐색, 군집화, 이용 단계로 구성된 CECE 알고리즘을 설계한다. 탐색은 궤적을 수집하고, 군집화로 맥락을 추론한다.
• 맥락 분류 후 Q-러닝을 이용 정책으로 사용하며, 식별 단계 동안은 균일한 탐색을 수행한다.
• 각 식별된 맥락 군집 내에서 최대우도추정법을 적용하여 MDP 파라미터를 학습한다.
• 맥락 오분류와 비최적 정책 학습을 모두 고려하는 리그레트 분석 프레임워크를 도입한다.
• 탐색 비율 $\eta = T_{EC}/T$ 와 같은 핵심 하이퍼파ram터의 성능 트레이드오프를 평가하기 위해 파라미터 민감도 분석을 적용한다.

실험 결과

연구 질문

• RQ1 유한한 수의 에피소드 설정에서 증명 가능한 보장을 갖는 조건 하에, 기저의 MDP 파라미터와 잠재적 맥락을 동시에 학습할 수 있는가?
• RQ2 맥락 식별에 전용 단계가 필요한 경우, 탐색과 이용의 상호보완적 관계가 성능에 어떤 영향을 미치는가?
• RQ3 맥락 수가 증가할 경우 학습 효율성과 리그레트에 어떤 영향을 미치는가?
• RQ4 모델 기반 또는 보상 중심의 분류 방법을 통해 맥락 군집화를 어떻게 향상시킬 수 있는가?
• RQ5 무한한 맥락 또는 동시 강화학습 설정으로의 CMDP 확장에서 이론적 및 실용적 과제는 무엇인가?

주요 결과

• 에피소드 수와 궤적 길이가 길어질수록 평균 보상이 증가하여, 시간이 지남에 따라 맥락 군집화와 모델 학습이 향상됨을 나타낸다.
• 맥락 수가 많아질수록 정확한 군집화와 모델 식별의 어려움으로 인해 성능이 저하된다.
• 탐색 비율 $\eta = T_{EC}/T$ 는 명확한 트레이드오프를 보이다. 높은 탐색 비율은 맥락 탐지 능력을 향상시키지만, 정책 최적화에 할애되는 시간을 줄인다.
• 최적의 군집화를 해도, 식별 단계의 본질적 비용으로 인해 최적 보상과 달성 보상 사이에 여전히 격차가 존재한다.
• 특정 가정 하에 CECE 알고리즘은 증명 가능한 리그레트 한계를 확보하며, 유한한 맥락 설정에서 이론적으로 타당함을 입증한다.
• 무한한 맥락과 동시 강화학습으로의 확장은 이론적 발전과 정밀한 공식화가 필요한 열린 문제로 지목된다.