[논문 리뷰] Causal Reasoning from Meta-reinforcement Learning

Ishita Dasgupta, Jane X. Wang외 8명|arXiv (Cornell University)|2019. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 6인용 수 74

한 줄 요약

본 논문은 모델-프리(model-free), 메타-학습된 RNN 에이전트가 관찰적, 개입적 및 반사실적 데이터 환경에서 정보가 풍부한 실험을 설계하도록 학습함으로써 도-계산(do-calculus), 개입, 그리고 반사실 추론을 수행할 수 있음을 보인다.

ABSTRACT

Discovering and exploiting the causal structure in the environment is a crucial challenge for intelligent agents. Here we explore whether causal reasoning can emerge via meta-reinforcement learning. We train a recurrent network with model-free reinforcement learning to solve a range of problems that each contain causal structure. We find that the trained agent can perform causal reasoning in novel situations in order to obtain rewards. The agent can select informative interventions, draw causal inferences from observational data, and make counterfactual predictions. Although established formal causal reasoning algorithms also exist, in this paper we show that such reasoning can arise from model-free reinforcement learning, and suggest that causal reasoning in complex settings may benefit from the more end-to-end learning-based approaches presented here. This work also offers new strategies for structured exploration in reinforcement learning, by providing agents with the ability to perform -- and interpret -- experiments.

연구 동기 및 목표

• 명시적 인과 사전지식 없이 메타 학습에서 인과 추론이 나타날 수 있는지 동기를 부여한다.
• 관찰 데이터로부터 인과 효과, 개입, 반사실 추론 능력을 보여준다.
• 활성 데이터 수집이 인과 이해도와 작업 보상을 향상시킨다는 점을 보여준다.
• 훈련 과정에 나타나지 않은 새로운 인과 그래프에 메타-학습 에이전트가 일반화될 수 있는지 평가한다.

제안 방법

• 무모델 기반 강화학습을 통해 LSTM 기반 에이전트를 학습시켜 무작위 인과 베이지안 네트워크(CBNs)에서 행동하게 한다.
• 에피소드를 정보(information)와 퀴즈(quiz) 단계로 구성하여 개입이나 관찰을 통해 인과 구조를 추론한다.
• 관찰 데이터에서 인과 효과를 도출하기 위해 도-계산에 기반한 추론을 사용하고 이를 반사실 추론 과제와 대조한다.
• 구조화된 탐색의 가치를 평가하기 위해 활성(정보를 얻은) 데이터 수집과 무작위 데이터 수집을 비교한다.
• 보류된 테스트 그래프를 가진 관찰적, 개입적, 반사실적의 세 가지 설정에서 평가한다.

실험 결과

연구 질문

• RQ1 메타-학습된 모델-프리 RL 에이전트가 관찰 데이터만으로 인과 추론을 수행할 수 있는가?
• RQ2 관찰되지 않는 교란 요인이 존재하는 상황에서 개입 데이터에 접근하는 것이 인과 문제를 해결하게 하는가?
• RQ3 에이전트가 반사실 추론을 수행할 수 있으며, 추론에서의 가설적 설명(abduction)이 저효율한 경우의 성능을 향상시키는가?
• RQ4 에이전트가 퀴즈 단계 보상을 향상시키기 위해 정보가 풍부한 관찰이나 개입을 적극적으로 선택하는 방법을 학습하는가?
• RQ5 학습된 전략이 보이지 않는 새로운 인과 그래프에 얼마나 잘 일반화되는가?

주요 결과

• 메타학습으로 학습된 에이전트는 관찰 데이터에서 인과-결과 추론을 수행할 수 있으며, 개입된 노드가 부모를 가질 때 순수한 연관성 기반 베이스라인보다 우수한 성능을 보인다.
• 개입 데이터는 관찰되지 않은 교란 요인을 해결하게 하며, 활성 개입 에이전트가 교란이 있는 경우 관찰 전용 에이전트보다 우수하다.
• 잠재적 랜덤성(abduction)을 활용하는 반사실 에이전트가 열악한 최대 상황에서 개입 에이전트를 능가하고 맞춤형 개입이 사용될 때도 우수하다.
• 활발한 데이터 수집 정책이 세 가지 설정 모두에서 퀴즈 단계 보상을 랜덤 관찰 정책보다 높게 만든다.
• 에이전트는 명시적 인과 사전지식 없이도 도-계산 학습, 효과적인 개입 계획, 반사실 예측을 보여준다.