[논문 리뷰] Deconfounding Reinforcement Learning in Observational Settings

Chaochao Lu, Bernhard Schölkopf외 1명|arXiv (Cornell University)|2018. 12. 26.

Reinforcement Learning in Robotics참고 문헌 33인용 수 34

한 줄 요약

이 논문은 잠재적 혼동요인을 고려한 관찰 데이터에서 정책 학습을 개선하기 위해 원인 인과론과 액터-크리틱 강화학습을 통합한 Deconfounding Reinforcement Learning(DRL) 프레임워크를 제안한다. 변분 추론을 통해 잠재적 혼동요인을 모델링하고 그 영향을 보정함으로써 DRL은 정책 최적화를 향상시키며, 합성 및 MNIST 기반 환경을 포함한 새로운 벤치마크에서 혼동이 있는 환경에서 기존 강화학습 방법보다 뛰어난 성능을 보여준다.

ABSTRACT

We propose a general formulation for addressing reinforcement learning (RL) problems in settings with observational data. That is, we consider the problem of learning good policies solely from historical data in which unobserved factors (confounders) affect both observed actions and rewards. Our formulation allows us to extend a representative RL algorithm, the Actor-Critic method, to its deconfounding variant, with the methodology for this extension being easily applied to other RL algorithms. In addition to this, we develop a new benchmark for evaluating deconfounding RL algorithms by modifying the OpenAI Gym environments and the MNIST dataset. Using this benchmark, we demonstrate that the proposed algorithms are superior to traditional RL methods in confounded environments with observational data. To the best of our knowledge, this is the first time that confounders are taken into consideration for addressing full RL problems with observational data. Code is available at https://github.com/CausalRL/DRL.

연구 동기 및 목표

• 관측 데이터에서 관측되지 않은 혼동요인이 행동과 보상 분포에 편향을 주는 관찰적 환경에서 강화학습을 해결하기 위해.
• 특히 시간에 따라 변화하는 치료법이 있는 순차적 의사결정에 대해 원인 인과론 기법을 전체 강화학습 문제에 통합하기 위해.
• 역사적 데이터의 잠재적 혼동요인을 고려한 액터-크리틱 알고리즘의 탈혼동 변형을 개발하기 위해.
• 수정된 OpenAI Gym 환경과 MNIST를 활용한 새로운 벤치마크를 만들어 탈혼동 강화학습 알고리즘을 평가하기 위해.
• 혼동요인 보정이 혼동이 있는 관찰 데이터에서 표준 강화학습에 비해 더 나은 정책 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 관측 데이터로부터 혼동요인의 사후 분포를 추정하기 위해 변분 오토인코더(VAE)를 사용하여 잠재적 혼동요인을 모델링하는 일반적인 DRL 프레임워크를 수립한다.
• 표준 무관성과 조건부 독립성 가정 하에 구조적 인과 모델을 사용하여 혼동요인의 행동 및 보상에 대한 영향을 식별한다.
• do-계산법을 적용하여 잠재적 혼동요인을 간섭함으로써 혼동을 보정하고, 편향 없는 정책 평가 및 학습을 가능하게 한다.
• 추정된 혼동요인 영향을 고려한 탈혼동 가치 함수와 정책 기울기를 통합하여 액터-크리틱 알고리즘을 확장한다.
• 변분 추론을 활용해 잠재적 혼동요인과 정책을 동시에 추정함으로써 관찰 데이터로부터 종단 간 훈련을 가능하게 한다.
• 합성 혼동요인을 포함한 수정된 Gym 환경과 MNIST 기반 제어 작업을 조합한 새로운 벤치마크에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 혼동요인이 행동과 보상에 영향을 주는 상황에서 관찰 데이터로부터 최적의 정책을 학습할 수 있는가?
• RQ2 액터-크리틱과 같은 표준 강화학습 알고리즘을 관찰 환경에서 잠재적 혼동요인을 고려하도록 어떻게 적응시킬 수 있는가?
• RQ3 혼동이 있는 환경에서 혼동요인 보정이 표준 강화학습에 비해 정책 성능에 어떤 영향을 미치는가?
• RQ4 순차적 의사결정 과제에서 탈혼동 강화학습 알고리즘을 평가하기 위한 신뢰할 수 있는 벤치마크를 구성할 수 있는가?
• RQ5 제안된 DRL 프레임워크는 기존의 인과 인과론 및 강화학습 방법에 비해 정책 품질과 내구성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 탈혼동 액터-크리틱 방법은 새로운 벤치마크에서 바닐라 액터-크리틱과 직접적인 AC 기준보다 평균 테스트 시간 총 보상에서 유의미하게 높은 성능을 기록한다.
• 탈혼동 AC는 바닐라 AC가 절반 이하의 비율로 최적 행동을 선택하는 것과는 달리, 최적 행동을 선택하는 에피소드 비율이 50퍼센트 이상 높다.
• 제안된 벤치마크는 관측되지 않은 혼동으로 인해 표준 강화학습의 성능 저하를 효과적으로 드러내어 탈혼동 방법의 필요성을 검증한다.
• 변분 추론을 통해 잠재적 혼동요인을 효과적으로 식별하고 보정함으로써 관찰 데이터에서 정책 일반화를 향상시킨다.
• 결과는 혼동요인 보정이 헬스케어 및 금융과 같은 실제 환경에서 더 신뢰성 있고 효과적인 정책 학습을 이끌 수 있음을 입증한다.
• 저자들의 지식에 비추어 볼 때, 이는 원인 인과론과 관찰 데이터를 활용해 전체 강화학습 문제에서 혼동을 체계적으로 다루는 첫 번째 작업이다.