[논문 리뷰] A Survey on Causal Reinforcement Learning

Yan Zeng, Ruichu Cai외 3명|arXiv (Cornell University)|2023. 02. 10.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 종합적 서베이는 인과 강화학습(CRL)에 대한 포괄적인 분류 체계를 제시하며, 기존 방법을 사전 인과 지식에 의존하는 것과 데이터로부터 인과성을 학습하는 것으로 분류한다. MDP, POMDP, 밴딧, DTR 프레임워크 전반에 걸쳐 CRL을 검토하고, 표준화된 지표를 사용해 방법을 평가하며, 오픈소스 자원과 실생활 응용 사례를 정리하여, CRL이 자료 효율적이고 해석 가능한 강화학습 시스템으로 향하는 핵심 길임을 위치시킨다.

ABSTRACT

While Reinforcement Learning (RL) achieves tremendous success in sequential decision-making problems of many domains, it still faces key challenges of data inefficiency and the lack of interpretability. Interestingly, many researchers have leveraged insights from the causality literature recently, bringing forth flourishing works to unify the merits of causality and address well the challenges from RL. As such, it is of great necessity and significance to collate these Causal Reinforcement Learning (CRL) works, offer a review of CRL methods, and investigate the potential functionality from causality toward RL. In particular, we divide existing CRL approaches into two categories according to whether their causality-based information is given in advance or not. We further analyze each category in terms of the formalization of different models, ranging from the Markov Decision Process (MDP), Partially Observed Markov Decision Process (POMDP), Multi-Arm Bandits (MAB), and Dynamic Treatment Regime (DTR). Moreover, we summarize the evaluation matrices and open sources while we discuss emerging applications, along with promising prospects for the future development of CRL.

연구 동기 및 목표

• 기존 강화학습(RL)의 자료 비효율성과 해석 불가능성 문제를 인과 추론 원리 통합을 통해 해결하기 위해.
• 인과 정보가 사전에 제공되는지 여부에 따라 기존 CRL 접근법을系통적으로 분류하기 위해.
• MDP, POMDP, 멀티어머니 밴딧, 동적 치료 제도(DTR)를 포함한 여러 순차적 의사결정 프레임워크에서 CRL 방법을 검토하기 위해.
• 평가 지표, 오픈소스 구현, 의료, 로봇공학, 자율 시스템 분야의 신규 응용 사례를 요약하기 위해.
• 지식 기반, 기억 기반, 인지 기반, 응용 기반 CRL 분야의 향후 연구 방향을 규명하기 위해.

제안 방법

• CRL 방법을 두 가지 별도의 유형으로 분류하기: (1) 사전에 알려진 인과 구조를 가진 CRL, (2) 알려지지 않거나 데이터로부터 학습된 인과 구조를 가진 CRL.
• 표준 강화학습 프레임워크인 마르코프 결정 과정(MDP), 부분 관측 가능 MDP(POMDP), 다중 암부 밴딧(MAB), 동적 치료 제도(DTR) 내에서 CRL를 수식화하기.
• do-계산법, 반사적 추론, 구조적 인과 모델과 같은 인과 추론 기법을 강화학습 정책 학습 및 가치 추정에 통합하기.
• 관찰 데이터로부터 유래한 인과 발견 기법을 활용해 표본 효율성 향상과 정책 일반화를 향상시키는 방법을 조사하고 비교하기.
• 표준 강화학습 지표(예: 누적 수익, 표본 효율성)와 인과 전용 지표(예: 평균 치료 효과, 반사적 정확도)를 사용해 CRL 방법을 평가하기.
• 재현성과 향후 연구 지원을 위해 오픈소스 구현 및 벤치마크 환경을 강조하기.

실험 결과

연구 질문

• RQ1 상호작용 데이터가 부족하거나 비용이 많이 들 때, 인과 추론은 강화학습의 자료 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 인과 구조(예: 인과 그래프)는 딥 강화학습 에이전트의 해석 가능성과 정책 투명성을 어떻게 향상시킬 수 있는가?
• RQ3 사전 인과 구조를 가정하는 CRL 방법과 데이터로부터 이를 발견하는 방법 사이의 주요 차이점과 상호 간의 상충 관계는 무엇인가?
• RQ4 MDP, POMDP, DTR와 같은 다양한 순차적 의사결정 환경에서 CRL 방법은 어떻게 성능을 발휘하는가?
• RQ5 CRL의 가장 유망한 응용 분야는 무엇이며, 실세계 시스템에 CRL을 구현할 때 남아 있는 과제는 무엇인가?

주요 결과

• 인과 강화학습은 반사적 추론과 간섭 기반 정책 학습을 가능하게 하여 자료 효율성을 크게 향상시키며, 환경과의 광범위한 상호작용에 대한 의존도를 감소시킨다.
• 사전 인과 지식을 통합한 CRL 방법은 특히 의료, 로봇공학 등 고위험 분야에서 더 나은 일반화와 해석 가능성을 달성한다.
• CRL에서의 인과 발견은 관찰 데이터로부터 인과 관계를 학습할 수 있게 하여, 환경 동역학이 부분적으로 알려지지 않은 상황에서도 정책 학습을 지원한다.
• 계층적 및 메타-RL 프레임워크와 인과 모델을 통합함으로써 더 적응력 있고 일반화 능력이 뛰어난 고수준 계획 수단을 가능하게 한다.
• 응용 기반 CRL은 자율 주행, 의료 치료, 금융 거래 등 인과 추론이 더 안전하고 신뢰할 수 있는 의사결정을 지원하는 분야에서 강력한 잠재력을 보인다.
• 대규모, 다양한, 대표성 있는 실세계 데이터셋은 CRL 발전에 핵심적이다. 데이터 기반 및 데이터 융합 기반 CRL 기법은 실세계 적용을 위한 핵심 추진력이 되고 있다.