[논문 리뷰] Causal Markov Decision Processes: Learning Good Interventions Efficiently

Yangyi Lu, Amirhossein Meisami외 1명|arXiv (Cornell University)|2021. 02. 15.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 6

한 줄 요약

이 논문은 인과적 구조를 순차적 결정 문제에 통합하여 강화학습에서의 회귀를 줄이는 Causal Markov Decision Processes (C-MDPs) 프레임워크를 소개한다. 인과 그래프를 활용해 간섭을 모델링함으로써 제안된 C-UCBVI 알고리즘은 $\tilde{O}(HS\sqrt{ZT})$의 회귀 한계를 달성한다. 여기서 $Z$는 인과 그래프에 따라 결정되는 양으로, 행동 공간 크기 $A$에 비해 지수적으로 작을 수 있으며, 이는 고차원 간섭 공간에서의 효율적 학습을 가능하게 한다.

ABSTRACT

We introduce causal Markov Decision Processes (C-MDPs), a new formalism for sequential decision making which combines the standard MDP formulation with causal structures over state transition and reward functions. Many contemporary and emerging application areas such as digital healthcare and digital marketing can benefit from modeling with C-MDPs due to the causal mechanisms underlying the relationship between interventions and states/rewards. We propose the causal upper confidence bound value iteration (C-UCBVI) algorithm that exploits the causal structure in C-MDPs and improves the performance of standard reinforcement learning algorithms that do not take causal knowledge into account. We prove that C-UCBVI satisfies an $ ilde{O}(HS\sqrt{ZT})$ regret bound, where $T$ is the the total time steps, $H$ is the episodic horizon, and $S$ is the cardinality of the state space. Notably, our regret bound does not scale with the size of actions/interventions ($A$), but only scales with a causal graph dependent quantity $Z$ which can be exponentially smaller than $A$. By extending C-UCBVI to the factored MDP setting, we propose the causal factored UCBVI (CF-UCBVI) algorithm, which further reduces the regret exponentially in terms of $S$. Furthermore, we show that RL algorithms for linear MDP problems can also be incorporated in C-MDPs. We empirically show the benefit of our causal approaches in various settings to validate our algorithms and theoretical results.

연구 동기 및 목표

• 행동/간섭 공간의 크기가 지수적으로 클 경우 강화학습에서의 차원의 극복 문제를 해결하기 위해.
• 상태 전이와 보상에 대한 인과적 구조를 통합한 새로운 MDP 프레임워크—Causal MDPs (C-MDPs)—를 정식화하기 위해.
• 행동 수 $A$에 비례하지 않는 회귀를 줄이는 데 도움이 되는 인과 지식을 활용하는 강화학습 알고리즘 C-UCBVI를 개발하기 위해.
• 요소화된 MDP 기법을 통합하여 CF-UCBVI를 개발함으로써, 상태 공간 크기 $S$에 대한 회귀 의존도를 추가로 줄이기 위해.
• 다양한 간섭 및 상태 차원을 가진 시뮬레이션 환경에서 이론적 개선 사항을 경험적으로 검증하기 위해.

제안 방법

• 간섭, 핵심 변수 및 그들이 상태 전이와 보상에 미치는 영향에 대해 인과 그래프를 통합하여 Causal MDPs (C-MDPs)를 제안한다.
• 인과 구조를 활용해 탐색을 이끌고 회귀를 줄이는 Causal Upper Confidence Bound Value Iteration (C-UCBVI) 알고리즘을 설계한다.
• 행동 공간 크기 $A$ 대신 사용되는 인과 그래프에 따라 결정되는 양인 $Z$를 정의한다. 이는 $Z$가 서로 다른 부모 변수 조합의 수를 나타내며, 회귀 한계에서 $A$의 역할을 대체한다.
• C-UCBVI를 요소화된 MDP 기법과 통합하여, 전체 상태 공간 크기 $S$에 대한 의존도를 줄이는 Causal Factored UCBVI (CF-UCBVI) 알고리즘을 개발한다.
• C-UCBVI가 $A$에 독립적으로 $\tilde{O}(HS\sqrt{ZT})$의 회귀 한계를 달성하며, CF-UCBVI는 명시적인 $S$에 대한 의존도를 제거함을 증명한다.
• 선형 함수 근사 설정에 인과 구조를 통합하여 선형 MDP로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 행동 수 $A$가 지수적으로 클 경우, 인과적 구조를 활용해 강화학습에서의 회귀를 줄일 수 있는가?
• RQ2 $A$에 대한 의존도를 더 작은 인과 그래프 기반 양 $Z$로 대체함으로써, 증명 가능한 더 나은 회귀 한계를 달성할 수 있는가?
• RQ3 인과 모델링과 요소화된 MDP를 결합함으로써, 상태 공간 크기 $S$에 대한 명시적 의존도를 제거함으로써 추가로 회귀를 줄일 수 있는가?
• RQ4 강한 인과적 또는 상태 분해 구조를 가진 환경에서 C-UCBVI의 성능은 표준 UCBVI 및 요소화된 UCBVI와 비교해 어떻게 되는가?
• RQ5 인과적 강화학습 알고리즘은 선형 MDP로 확장 가능하며, 개선된 회귀 스케일링을 유지할 수 있는가?

주요 결과

• C-UCBVI는 $\tilde{O}(HS\sqrt{ZT})$의 회귀 한계를 달성하며, 이는 행동 수 $A$가 아닌 인과 그래프 기반 양 $Z$에 따라 스케일링된다. 이는 $Z \ll A$일 경우 지수적 회귀 감소를 가능하게 한다.
• 실험 결과, CF-UCBVI는 큰 $A$와 $S$를 가진 환경에서 UCBVI, C-UCBVI, F-UCBVI를 모두 능가한다. 이는 인과적 및 요소화된 구조를 동시에 활용한 덕분이다.
• 간섭 수가 증가함에 따라($m$이 커짐), C-UCBVI와 CF-UCBVI는 안정적인 회귀를 유지하지만, UCBVI와 F-UCBVI는 회귀가 크게 증가한다.
• 상태 차원 $d_s$가 증가함에 따라 C-UCBVI의 회귀는 크게 증가하여 상태 공간 크기의 민감도를 확인한다. 반면 CF-UCBVI는 요소화된 구조를 활용해 안정성을 유지한다.
• F-UCBVI는 요소화된 구조가 존재함에도 불구하고 인과 지식이 없어 C-UCBVI 및 CF-UCBVI보다 성능이 열 劣하다.
• 경험적 결과는 이론적 주장과 일치한다: 인과 구조를 활용하는 알고리즘(C-UCBVI 및 CF-UCBVI)은 고차원 간섭 및 상태 공간에서 비인과적 대비 알고리즘을 항상 능가한다.