[논문 리뷰] Causal Reinforcement Learning using Observational and Interventional Data

Maxime Gasse, Damien Grasset외 2명|arXiv (Cornell University)|2021. 06. 28.

Reinforcement Learning in Robotics참고 문헌 26인용 수 23

한 줄 요약

이 논문은 관찰 데이터(숨겨진 정보를 가진 에이전트로부터의 데이터)와 간섭 데이터(학습 에이전트의 자체 상호작용으로부터의 데이터)를 통합하여 POMDP에서 정책 학습을 향상시키는 인과적 강화학습 프레임워크를 제안한다. 잠재변수 기반 인과 전이 모델을 통해 환경을 모델링하고, do-계산법을 적용하여 혼동을 제거함으로써, 이론적 보장과 함께 정확하고 효율적인 일반화를 가능하게 한다. 실험적으로 합성 작업에서 검증되었다.

ABSTRACT

Learning efficiently a causal model of the environment is a key challenge of model-based RL agents operating in POMDPs. We consider here a scenario where the learning agent has the ability to collect online experiences through direct interactions with the environment (interventional data), but has also access to a large collection of offline experiences, obtained by observing another agent interacting with the environment (observational data). A key ingredient, that makes this situation non-trivial, is that we allow the observed agent to interact with the environment based on hidden information, which is not observed by the learning agent. We then ask the following questions: can the online and offline experiences be safely combined for learning a causal model ? And can we expect the offline experiences to improve the agent's performances ? To answer these questions, we import ideas from the well-established causal framework of do-calculus, and we express model-based reinforcement learning as a causal inference problem. Then, we propose a general yet simple methodology for leveraging offline data during learning. In a nutshell, the method relies on learning a latent-based causal transition model that explains both the interventional and observational regimes, and then using the recovered latent variable to infer the standard POMDP transition model via deconfounding. We prove our method is correct and efficient in the sense that it attains better generalization guarantees due to the offline data (in the asymptotic case), and we illustrate its effectiveness empirically on synthetic toy problems. Our contribution aims at bridging the gap between the fields of reinforcement learning and causality.

연구 동기 및 목표

• 관찰된 에이전트가 은폐된 정보를 사용하는 모델 기반 강화학습에서 관찰 및 간섭 데이터를 통합하는 문제에 대응한다.
• 은폐된 변수와 연관된 관찰 데이터의 혼동을 제거하되, 해당 은폐된 변수에 대한 접근이 없어도 된다.
• 오프라인 데이터를 안전하게 활용하여 온라인 강화학습의 샘플 효율성과 일반화 성능을 향상시키는 체계적인 방법을 개발한다.
• do-계산법을 사용하여 모델 기반 강화학습을 인과 추론 문제로 공식화함으로써 인과성과 강화학습 간 격차를 메운다.
• 오프라인 데이터가 은폐된 변수에 의해 혼동되더라도, 점점 더 나은 점근적 성능을 달성함을 보여준다.

제안 방법

• do-계산법을 사용하여 관찰 및 간섭 영역를 구분하는 인과 추론 문제로 모델 기반 강화학습을 공식화한다.
• 관찰 및 간섭 데이터를 동시에 설명할 수 있는 잠재변수 기반 인과 전이 모델을 도입하여, 관찰되지 않은 혼동 요인을 포괄한다.
• 복원된 잠재변수를 사용하여 관찰 데이터를 탈혼동화하고, 표준 POMDP 전이 모델의 비편향 추정을 가능하게 한다.
• do-계산법을 적용하여 혼합된 데이터 소스에서 행동의 인과 효과를 추정할 수 있는 식별 조건을 유도한다.
• 샘플 가용성에 따라 온라인 및 오프라인 데이터의 영향력을 동적으로 조절하는 실용적인 학습 절차를 구현한다.
• 잠재 모델을 사용하여 반사적 결과를 추론하고 정책 학습을 이끌어내어, 관찰 데이터의 혼동에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 은폐된 정보를 가진 에이전트로부터의 관찰 데이터를 POMDP에서 온라인 간섭 데이터와 안전하게 통합할 수 있는가?
• RQ2 관찰 데이터가 혼동되어 있을 때, 어떤 조건에서 혼동된 관찰 데이터가 모델 기반 강화학습의 일반화 성능을 향상시킬 수 있는가?
• RQ3 do-계산법을 사용하여 혼합 데이터 환경에서 인과 효과의 식별 가능성을 공식적으로 추론할 수 있는가?
• RQ4 오프라인 데이터를 활용하면 온라인 데이터만 사용할 때보다 더 나은 점근적 성능을 달성하는가?
• RQ5 잠재변수 모델이 은폐된 혼동 요인 존재 하에서 관찰 데이터를 효과적으로 탈혼동화하고 정책 학습을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 관찰 데이터가 관찰되지 않은 변수에 의해 혼동되더라도, do-계산법을 통해 공식화된 바에 따라 올바른 인과 추론을 달성한다.
• 이론적 분석을 통해 관찰 및 간섭 데이터를 동시에 사용할 경우 점근적 영역에서 더 나은 일반화 보장을 확보함을 증명한다.
• 합성 토이 문제에 대한 실험 결과는, 온라인 데이터만 사용할 때보다 샘플 효율성과 정책 성능 향상이 이루어짐을 보여준다.
• 잠재변수 모델은 관찰 데이터를 성공적으로 탈혼동화하여 진정한 POMDP 전이 역학을 정확하게 추정할 수 있게 한다.
• 특히 강한 혼동이 존재할 경우, 관찰 데이터를 간섭적으로 생성된 것으로 간주하는 난이도 높은 베이스라인보다 성능이 뛰어나다.
• 다양한 양의 오프라인 데이터에 대해 강건하며, 정보량에 따라 오프라인 데이터의 기여도를 동적으로 조정한다.