[논문 리뷰] Online learning in MDPs with side information

Yasin Abbasi-Yadkori, Gergely Neu|arXiv (Cornell University)|2014. 06. 26.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 8

한 줄 요약

이 논문은 측정 가능한 정보 벡터에 따라 전이 및 보상 함수가 달라지는 에피소드형 마르코프 결정 과정(MDP)에 대해 계산적으로 효율적인 온라인 학습 알고리즘을 제안한다. 이 방법은 $\widetilde{\mathcal{O}}(L|\mathcal{S}|^2|\mathcal{A}|(n+m)\sqrt{T})$의 리그레트 한계를 달성하며, 이는 이 설정에 대해 처음으로 이론적인 보장을 제공하며, 임상 시험 및 추천 시스템과 같은 애플리케이션에서 환자별 또는 사용자별 특성에 맞춰 적응하는 동적 정책을 가능하게 한다.

ABSTRACT

We study online learning of finite Markov decision process (MDP) problems when a side information vector is available. The problem is motivated by applications such as clinical trials, recommendation systems, etc. Such applications have an episodic structure, where each episode corresponds to a patient/customer. Our objective is to compete with the optimal dynamic policy that can take side information into account. We propose a computationally efficient algorithm and show that its regret is at most $O(\sqrt{T})$, where $T$ is the number of rounds. To best of our knowledge, this is the first regret bound for this setting.

연구 동기 및 목표

• 임상 시험에서 환자의 검사 결과와 같이 측정 가능한 정보 벡터에 따라 전이 및 보상 함수가 달라지는 에피소드형 MDP에서의 온라인 학습 문제를 다루기 위해.
• 각 측정 가능한 정보 벡터에 맞춰 최적의 동적 정책과 경쟁할 수 있는 계산적으로 효율적인 알고리즘을 설계하기 위해.
• 이 설정에 대해 이론적 리그레트 한계를 확립하기 위해. 이는 지금까지 이러한 보장이 없었던 분야이다.
• 개인화된 의료 및 추천 시스템과 같은 응용 분야에서 맥락 기반의 역학을 활용하여 적응형 의사결정을 가능하게 하기 위해.

제안 방법

• 각 에피소드가 새로운 환자 또는 사용자와 맥락 벡터 $x_t \in \mathbb{R}^d$를 가진 측정 가능한 정보가 포함된 순환 없는 에피소드형 MDP로 모델링한다.
• 전이 확률 $P_x(s'|s,a) = \sigma(\varphi(x)^T \theta_*(s',s,a))$와 보상 함수 $r_x(s,a)$를 일반화된 선형 모델로 매개변수화한다.
• 전이 및 보상 매개변수에 대한 불확실성을 표현하기 위해 신뢰 집합 $\mathcal{P}_x(\bm{\Theta})$와 $\mathcal{R}_x(\bm{\Lambda})$를 사용한다.
• 신뢰 집합 위에서 최적화 문제를 해결하기 위해 효율적인 최적화 절차(알고리즘 2)를 적용하여 계산 가능성을 확보하며, 시간 및 공간 복잡도가 $\mathcal{O}(|\mathcal{A}||\mathcal{S}|^2)$가 된다.
• 측정 가능한 정보를 사용한 최적의 동적 정책과의 누적 보상 차이를 제한하는 새로운 리그레트 분석을 도입한다.
• 측정 가능한 정보에 적응하도록 수정된 UCRL2 프레임워크를 활용하며, 비독립 동일분포가 아니고 맥락 기반의 동적 특성을 신중히 다룬다.

실험 결과

연구 질문

• RQ1 측정 가능한 정보 벡터에 따라 전이 및 보상 함수가 달라지는 에피소드형 MDP에 대해 계산적으로 효율적인 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ2 이 설정에서 달성 가능한 최적의 리그레트 한계는 무엇이며, 이는 에피소드 수 $T$에 대해 비선형일 수 있는가?
• RQ3 측정 가능한 정보가 MDP의 동역학에 큰 영향을 미칠 경우, 제안된 알고리즘의 성능은 기존 방법과 어떻게 비교되는가?
• RQ4 환경가 비정상적이지만 맥락 기반으로 변화할 경우, 최적의 동적 정책과의 리그레트를 비선형으로 달성할 수 있는가?
• RQ5 측정 가능한 정보나 MDP의 구조에 대해 강력한 가정 없이도 리그레트 한계를 유도할 수 있는가?

주요 결과

• 제안된 알고리즘은 $\widetilde{\mathcal{O}}(L|\mathcal{S}|^2|\mathcal{A}|(n+m)\sqrt{T})$의 리그레트 한계를 달성하며, 이는 측정 가능한 정보가 있는 MDP에서 온라인 학습에 대해 처음으로 이론적 보장을 제공한다.
• 리그레트는 에피소드 수 $T$에 대해 $O(\sqrt{T})$ 비율로 증가하며, 이는 비선형 증가를 보이며 시간이 지남에 따라 일관된 학습을 가능하게 한다.
• 알고리즘은 계산적으로 효율적이며, 시간 및 공간 복잡도가 $\mathcal{O}(|\mathcal{A}||\mathcal{S}|^2)$이므로 실용적 구현에 적합하다.
• 측정 가능한 정보가 동역학에 강한 영향을 미치는 설정에서는 UCRL2와 같은 기준 알고리즘보다 성능이 뛰어나지만, 이론적 리그레트 요소는 더 높다.
• 측정 가능한 정보가 유용할 경우, 동적 정책 적응을 고려함으로써 이전 결과보다 더 날카로운 리그레트 한계를 확보한다.
• 분석을 통해 전이 및 보상이 비독립 동일분포가 아니며 고차원의 측정 가능한 정보 벡터에 의존할 경우에도 알고리즘이 맥락 기반 MDP를 효과적으로 학습할 수 있음을 입증한다.