[논문 리뷰] Causal Reinforcement Learning: A Survey

Zhi‐Hong Deng, Jing Jiang외 2명|arXiv (Cornell University)|2023. 07. 04.

Auction Theory and Applications인용 수 6

한 줄 요약

이 종합 검토에서는 인과 추론을 강화 학습에 통합함으로써 표본 효율성, 일반화 능력, 지식 전이 및 의사결정의 해석 가능성 향상을 도모하는 원인적 강화 학습(Causal RL)을 프레임워크로 소개한다. 인과 관계를 모델링하고 불변성을 활용함으로써, 기존 강화 학습의 한계인 허구적 상관관계 및 낮은 일반화 능력 문제를 해결하며, 복잡한 환경에서 더 안전하고 견고한 의사결정을 위한 체계적인 접근법을 제공한다.

ABSTRACT

Reinforcement learning is an essential paradigm for solving sequential decision problems under uncertainty. Despite many remarkable achievements in recent decades, applying reinforcement learning methods in the real world remains challenging. One of the main obstacles is that reinforcement learning agents lack a fundamental understanding of the world and must therefore learn from scratch through numerous trial-and-error interactions. They may also face challenges in providing explanations for their decisions and generalizing the acquired knowledge. Causality, however, offers a notable advantage as it can formalize knowledge in a systematic manner and leverage invariance for effective knowledge transfer. This has led to the emergence of causal reinforcement learning, a subfield of reinforcement learning that seeks to enhance existing algorithms by incorporating causal relationships into the learning process. In this survey, we comprehensively review the literature on causal reinforcement learning. We first introduce the basic concepts of causality and reinforcement learning, and then explain how causality can address core challenges in non-causal reinforcement learning. We categorize and systematically review existing causal reinforcement learning approaches based on their target problems and methodologies. Finally, we outline open issues and future directions in this emerging field.

연구 동기 및 목표

• 인과 추론을 통합하여 기존 강화 학습의 한계, 예를 들어 낮은 표본 효율성과 허구적 상관관계에 대한 취약성을 해결한다.
• 불변 인과 메커니즘의 활용을 통해 다양한 환경과 작업 간의 일반화 능력과 지식 전이 능력을 향상시킨다.
• 반사적 추론과 인과 모델링을 활용하여 실세계 강화 학습 응용 분야에서 의사결정의 해석 가능성, 공정성 및 안전성을 향상시킨다.
• 강화 학습의 核심 과제를 해결하는 데 있어 기존 Causal RL 접근법의 능력을 바탕으로 체계적으로 분류하고 평가한다.
• 현재 벤치마크의 격차를 특정하고, 실세계 적용을 가속화하기 위해 더 투명하고 인과 기반의 환경을 권장한다.

제안 방법

• 강화 학습 프레임워크에 구조적 인과 모델(Structural Causal Models, SCMs)과 do-계산법(do-calculus)을 통합하여 간섭과 반사적 추론을 체계화한다.
• 사전 지식이 제한된 경우 원시 관측 데이터로부터 인과 구조를 추론하기 위해 인과 표현 학습을 활용한다.
• 불변 위험 최소화(Invariant Risk Minimization, irm)와 인과 표현 학습을 적용하여 분포 이동에 대한 일반화 능력을 향상시킨다.
• 다중 작업 및 메타학습 파рад림을 활용하여 다양한 환경 간의 인과 발견 및 정책 전이를 촉진한다.
• 잠재적 결과와 do-계산법을 사용하여 관측 데이터로부터 간섭 효과를 추정함으로써 인과 효과를 체계화한다.
• 인간이 제공한 인과 지식을 통합하여 탐색을 안내하고 시험과 오류 학습에 대한 의존도를 줄인다.

실험 결과

연구 질문

• RQ1 어떻게 인과 모델링이 강화 학습에서 표본 효율성과 일반화 능력을 향상시킬 수 있는가?
• RQ2 어떤 방식으로 인과 추론이 오프라인 및 부분 관측 강화 학습 환경에서 허구적 상관관계를 완화하는 데 기여할 수 있는가?
• RQ3 반사적 추론은 자율 주행과 같은 실세계 강화 학습 응용 분야에서 의사결정 및 안전성을 어떻게 향상시킬 수 있는가?
• RQ4 인과 정보가 불완전하거나 관측되지 않을 경우 현재 Causal RL 방법의 근본적인 한계는 무엇인가?
• RQ5 Causal RL 알고리즘의 투명하고 다각적인 평가를 지원하기 위해 기존 벤치마크는 어떻게 개선될 수 있는가?

주요 결과

• Causal RL은 원칙적인 간섭 추정을 통해 더 적은 상호작용으로 학습할 수 있도록 함으로써 표본 효율성을 향상시킨다.
• 인과 모델링은 환경 간에 불변 인과 메커니즘을 식별함으로써 허구적 상관관계에 대한 민감도를 감소시켜 일반화 능력을 향상시킨다.
• 반사적 추론은 '만약에' 시나리오를 평가할 수 있게 하며, 예를 들어 다른 행동을 선택했더라면 사고가 발생했을지 여부를 분석할 수 있도록 한다.
• 현재 Causal RL를 위한 벤치마크는 투명도가 낮은 블랙박스 시스템으로 구성되어 있어 재현 가능성과 인과 이해를 저해한다.
• 진전이 있었음에도 불구하고, 부분 관측성, 안전성 제약 및 해석 가능성의 필요성 등 도전 과제로 인해 실세계 적용은 아직 제한되어 있다.
• 인간의 인과 지식 통합은 특히 데이터가 부족한 환경에서 학습 효율성과 정책의 견고성을 크게 향상시킬 수 있다.