[논문 리뷰] Causality and Batch Reinforcement Learning: Complementary Approaches To Planning In Unknown Domains

James Sanford Bannon, Brad Windsor외 2명|arXiv (Cornell University)|2020. 06. 03.

Advanced Causal Inference Techniques참고 문헌 62인용 수 9

한 줄 요약

이 논문은 인과성과 배치 강화학습(Reinforcement Learning, RL) 간의 이론적이고 실용적인 연결을 수립하여, RL에서의 오프-폴리시 평가와 인과적 추론에서의 치료 효과 추정이 동일한 반사적 문제를 다룬다는 것을 보여준다. 인과적 추론 기법—예를 들어 더블 로버스트 추정과 do-계산법—을 배치 RL에 통합함으로써, 저자가 온라인 상호작용 없이도 일반화 능력을 향상시키고 오차를 감소시킴을 입증하였다. 이는 의료나 자율주행과 같은 고위험 분야에서 더 안전한 구현을 가능하게 한다.

ABSTRACT

Reinforcement learning algorithms have had tremendous successes in online learning settings. However, these successes have relied on low-stakes interactions between the algorithmic agent and its environment. In many settings where RL could be of use, such as health care and autonomous driving, the mistakes made by most online RL algorithms during early training come with unacceptable costs. These settings require developing reinforcement learning algorithms that can operate in the so-called batch setting, where the algorithms must learn from set of data that is fixed, finite, and generated from some (possibly unknown) policy. Evaluating policies different from the one that collected the data is called off-policy evaluation, and naturally poses counter-factual questions. In this project we show how off-policy evaluation and the estimation of treatment effects in causal inference are two approaches to the same problem, and compare recent progress in these two areas.

연구 동기 및 목표

• 온라인 탐색이 너무 비용이 많이 들기 때문에 고위험 도메인에서 안전한 정책 평가의 과제를 해결한다.
• 배치 RL에서의 오프-폴리시 평가와 인과적 추론에서의 치료 효과 추정이 본질적으로 동일한 반사적 문제임을 규명한다.
• 인과적 추론 기법이 온라인 상호작용 없이도 배치 RL에서 일반화 능력 향상과 오차 감소에 어떻게 기여할 수 있는지 보여준다.
• 자료 탐색, 오차 추정, 이론적 하한값 비교를 통해 인과성과 RL 간의 방법론적 격차를 메운다.
• 이식 및 다중 작업 학습과 같은 넓은 범위의 RL 프레임워크에 인과적 추론을 통합하여 실제 적용 가능성 향상을 제안한다.

제안 방법

• 잠재 결과 프레임워크와 구조적 인과 모델(Structural Causal Models, SCMs)을 연속적인 결정 문제인 문맥 밴드잇과 연결한다.
• 특히 더블 로버스트 추정기와 배경 조정/앞면 조정 기법을 포함한 인과적 추론 기법을 배치 RL에서의 오프-폴리시 평가에 적용한다.
• do-계산법을 사용하여 간섭을 모델링하고, 다양한 정책 하에서의 반사적 결과를 추정함으로써 RL의 정책 평가를 모방한다.
• 활성 인과 학습(예: 순환 하위그래프의 최적 색채화를 통한 간섭 선택)을 배치 RL의 탐색 전략에 통합한다.
• 크래머-라오 하한을 활용하여 인과 및 RL 추정기의 분산 이론적 한계를 분석하고, 동일한 하한으로 수렴함을 보여준다.
• 인과 오차 추정과 반사적 추론에 기반한 기울기 기반 업데이트 규칙을 제안하여 행동 정책의 개선을 위한 배치 RL 전략을 마련한다.

실험 결과

연구 질문

• RQ1 배치 RL에서의 오프-폴리시 평가와 인과적 추론에서의 치료 효과 추정은 반사적 추론의 관점에서 어떻게 상호 관련이 있는가?
• RQ2 온라인 상호작용 없이도 인과적 추론 기법이 배치 RL 알고리즘의 일반화 능력과 강건성에 얼마나 기여할 수 있는가?
• RQ3 적응형 간섭 선택을 포함한 활성 인과 학습 전략은 데이터 효율적인 탐색을 위한 배치 RL 환경에서 어떻게 활용될 수 있는가?
• RQ4 동일한 조건에서 인과 및 배치 RL 추정기가 동일한 이론적 하한값(예: 크래머-라오 하한)으로 수렴하는가?
• RQ5 인과 구조 탐색과 do-계산법은 알 수 없는 환경에서 반사적 정책 평가를 어떻게 향상시킬 수 있는가?

주요 결과

• 배치 RL에서의 오프-폴리시 평가와 인과적 추론에서의 치료 효과 추정은 반사적 결과의 처리 방식에서 수학적으로도 개념적으로도 동일하다.
• 인과적 추론에서 유래한 더블 로버스트 추정기는 배치 RL에서 분산을 크게 감소시키고 일반화 능력을 향상시켜 크래머-라오 하한에 가까워진다.
• 배경 조정 및 앞면 조정과 같은 인과적 추론 기법은 행동 정책이 알려지지 않은 경우에도 정책 가치에 대해 유효하고 일관된 추정기를 제공한다.
• 적응형 간섭 선택을 수행하는 활성 인과 학습 알고리즘은 RL에서 행동 정책 업데이트로 매핑될 수 있으며, 이는 데이터 효율적인 탐색을 가능하게 한다.
• 이론적 분석을 통해 인과 추론과 배치 RL 추정기가 동일한 분산 하한에 도달함을 확인하였으며, 이는 두 분야가 공유하는 통계적 기반을 뒷받침한다.
• RL에 인과적 추론을 통합함으로써 온라인 시험·오류 없이 정확한 반사적 추론이 가능해져 실제 응용 분야에서의 안전성과 신뢰성을 향상시킨다.