[논문 리뷰] Provably Efficient Causal Reinforcement Learning with Confounded Observational Data

Lingxiao Wang, Zhuoran Yang외 1명|arXiv (Cornell University)|2020. 06. 22.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 13

한 줄 요약

이 논문은 관찰 데이터에 혼란 요인이 존재하는 상황에서도 표본 효율성을 향상시키기 위해 혼란 요인을 보정하고 오프라인 데이터에서의 정보 획득을 정량화함으로써, 보다 효율적인 인과적 강화학습 알고리즘인 DOVI를 제안한다. DOVI는 부분적 또는 관측되지 않은 혼란 요인에 의한 편향을 보정하고, 오프라인 데이터에서의 정보 획득을 정량화함으로써, 관측 데이터가 더 정보가 많아질수록 감소하는 요인으로서의 곱셈적 요인을 통해 손실을 감소시킨다.

ABSTRACT

Empowered by expressive function approximators such as neural networks, deep reinforcement learning (DRL) achieves tremendous empirical successes. However, learning expressive function approximators requires collecting a large dataset (interventional data) by interacting with the environment. Such a lack of sample efficiency prohibits the application of DRL to critical scenarios, e.g., autonomous driving and personalized medicine, since trial and error in the online setting is often unsafe and even unethical. In this paper, we study how to incorporate the dataset (observational data) collected offline, which is often abundantly available in practice, to improve the sample efficiency in the online setting. To incorporate the possibly confounded observational data, we propose the deconfounded optimistic value iteration (DOVI) algorithm, which incorporates the confounded observational data in a provably efficient manner. More specifically, DOVI explicitly adjusts for the confounding bias in the observational data, where the confounders are partially observed or unobserved. In both cases, such adjustments allow us to construct the bonus based on a notion of information gain, which takes into account the amount of information acquired from the offline setting. In particular, we prove that the regret of DOVI is smaller than the optimal regret achievable in the pure online setting by a multiplicative factor, which decreases towards zero when the confounded observational data are more informative upon the adjustments. Our algorithm and analysis serve as a step towards causal reinforcement learning.

연구 동기 및 목표

• 풍부한 관찰 데이터는 있지만 혼란 요인이 존재하는 상황에서 온라인 강화학습의 표본 효율성을 향상시키기 위해 목표로 한다.
• 관측되지 않은 변수가 행동 정책, 보상 및 동역학에 영향을 주는 혼란 요인 편향 문제를 다루기 위해 목표로 한다.
• 개입 데이터와 관찰 데이터 양쪽에서의 정보 획득을 측정함으로써 탐색의 불확실성 정량화를 가능하게 하기 위해 목표로 한다.
• 혼란 요인 존재하는 데이터에서의 정보를 활용하여 손실 감소를 위한 보너스 메커니즘을 구축하기 위해 목표로 한다.
• 순수한 온라인 RL보다 증명 가능한 더 나은 손실 경계를 달성하기 위해 목표로 한다. 이 개선 정도는 관찰 데이터의 정보성에 비례한다.

제안 방법

• 혼란 요인 존재하는 관찰 데이터를 처리하기 위해, Deconfounded Optimistic Value Iteration (DOVI) 알고리즘을 제안한다.
• 두 단계 추정 방법을 사용한다: 먼저, 조건부 독립성 가정을 통해 관측되지 않은 혼란 요인을 고려한 표현을 사용하여 관찰 데이터를 보정한다.
• 혼란 요인 존재하더라도 불확실성 감소를 정량화할 수 있는 새로운 정보 획득 측정법을 도입한다.
• 이 정보 획득을 기반으로 한 온라인 단계에서의 탐색을 이끄는 온실적 보너스를 구성한다.
• 혼란 요인 존재하더라도 유효한 농도 경계를 확보하기 위해 오프라인 및 온라인 데이터 스트림을 모두 포함하는 완전한 필터레이션을 활용한다.
• 행렬 농도 부등식과 로그 행렬식 경계를 활용하여 고확률 손실 보장을 유도한다.

실험 결과

연구 질문

• RQ1 혼란 요인이 존재하는 관찰 데이터를 활용하여 온라인 강화학습의 표본 효율성을 향상시킬 수 있는가?
• RQ2 관측되지 않은 변수가 정책, 보상 및 전이에 영향을 주는 혼란 요인 편향이 오프라인 데이터에서 어떻게 보정되어 온라인 의사결정에 활용될 수 있는가?
• RQ3 혼란 요인 존재하는 관찰 데이터에서의 정보 획득에 대해 유효하고 유의미한 측정법은 무엇이며, 이는 탐색의 불확실성 정량화를 뒷받침할 수 있는가?
• RQ4 개입 데이터와 혼란 요인 존재하는 관찰 데이터를 결합할 경우, 증명 가능한 효율성의 손실 경계를 달성할 수 있는가?
• RQ5 혼란 요인 존재하는 관찰 데이터의 정보성에 따라 손실 개선 정도는 어떻게 변화하는가?

주요 결과

• DOVI는 조정 후 관찰 데이터가 더 정보가 많아질수록 감소하는 요인으로서의 곱셈적 요인을 통해 순수한 온라인 RL의 최적 손실보다 더 작은 손실 경계를 달성한다.
• 조건부 독립성 구조를 모델링함으로써 관측되지 않은 혼란 요인의 영향을 모델링함으로써, 혼란 요인이 존재하더라도 관찰 데이터를 성공적으로 보정한다.
• 관찰 데이터에서의 정보 획득을 공식적으로 정량화하고, 이를 탐색 효율성을 향상시키기 위한 보너스로 활용한다.
• 오프라인 및 온라인 데이터를 모두 포함하는 완전한 필터레이션을 통해 추정 오차에 대한 고확률 농도 경계를 확립한다.
• 손실 경계는 문제 차원의 로그와 총 단계 수에 비례하며, 오프라인 데이터의 정보 획득에 의존한다.
• 이론적 분석을 통해 DOVI가 증명 가능한 효율성을 확보하고 있으며, 손실 개선 정도는 관찰 데이터셋의 품질과 정보성에 비례함을 확인한다.