[论文解读] Provably Efficient Causal Reinforcement Learning with Confounded Observational Data

Lingxiao Wang, Zhuoran Yang+1 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Bandit Algorithms Research参考文献 38被引用 13

一句话总结

本文提出 DOVI，一种可证明高效的因果强化学习算法，利用有混杂因素的观测数据来提升在线强化学习中的样本效率。通过部分或未观测到的混杂因素来去混杂偏差，并量化来自离线数据的信息增益，DOVI 将遗憾减少了一个随观测数据变得越 informative 而趋近于零的乘法因子。

ABSTRACT

Empowered by expressive function approximators such as neural networks, deep reinforcement learning (DRL) achieves tremendous empirical successes. However, learning expressive function approximators requires collecting a large dataset (interventional data) by interacting with the environment. Such a lack of sample efficiency prohibits the application of DRL to critical scenarios, e.g., autonomous driving and personalized medicine, since trial and error in the online setting is often unsafe and even unethical. In this paper, we study how to incorporate the dataset (observational data) collected offline, which is often abundantly available in practice, to improve the sample efficiency in the online setting. To incorporate the possibly confounded observational data, we propose the deconfounded optimistic value iteration (DOVI) algorithm, which incorporates the confounded observational data in a provably efficient manner. More specifically, DOVI explicitly adjusts for the confounding bias in the observational data, where the confounders are partially observed or unobserved. In both cases, such adjustments allow us to construct the bonus based on a notion of information gain, which takes into account the amount of information acquired from the offline setting. In particular, we prove that the regret of DOVI is smaller than the optimal regret achievable in the pure online setting by a multiplicative factor, which decreases towards zero when the confounded observational data are more informative upon the adjustments. Our algorithm and analysis serve as a step towards causal reinforcement learning.

研究动机与目标

• 通过整合丰富但存在混杂因素的观测数据，提升在线强化学习中的样本效率。
• 解决未观测变量同时影响行为策略、奖励和动态而导致的混杂偏差问题。
• 通过测量干预数据和观测数据中的信息增益，实现在探索中的不确定性量化。
• 构建一种利用混杂数据中信息的奖励机制，以减少遗憾。
• 实现可证明优于纯在线强化学习的遗憾界，且改进程度随观测数据的信息量增加而提升。

提出的方法

• 提出去混杂乐观值迭代（DOVI）算法，用于处理在线强化学习中的混杂观测数据。
• 采用两阶段估计方法：首先，通过考虑未观测混杂因素的表示，利用条件独立性假设对观测数据进行去混杂。
• 提出一种新颖的信息增益度量，用于量化即使在数据存在混杂时，离线数据带来的不确定性减少程度。
• 基于此信息增益构建乐观奖励，以指导在线阶段的探索。
• 采用包含离线和在线数据流的完整过滤机制，确保在存在混杂情况下的有效浓度界限。
• 利用矩阵集中不等式和对数行列式界，推导出高概率的遗憾保证。

实验结果

研究问题

• RQ1 能否利用存在混杂因素的观测数据来提升在线强化学习中的样本效率？
• RQ2 当未观测变量同时影响策略、奖励和转移时，如何在离线数据中校正这种混杂偏差，以支持在线决策？
• RQ3 是否存在一种有效且信息丰富的混杂观测数据信息增益度量，能够支持探索中的不确定性量化？
• RQ4 在结合干预数据和混杂观测数据时，能否实现可证明高效的遗憾界？
• RQ5 遗憾的改进程度如何随混杂观测数据的信息量而变化？

主要发现

• DOVI 的遗憾界比纯在线强化学习的最优遗憾界更小，其乘法因子随调整后混杂观测数据的信息量增加而趋近于零。
• 即使混杂因素未被观测到，该算法也能成功对观测数据进行去混杂，方法是通过条件独立性结构建模其影响。
• 正式量化了观测数据的信息增益，并用于构建提升探索效率的奖励。
• 通过包含离线和在线数据的完整过滤机制，建立了估计误差的高概率浓度界限。
• 遗憾界与问题维度的对数及总步数成比例，且依赖于离线数据的信息增益。
• 理论分析证实 DOVI 是可证明高效的，其遗憾改进程度与观测数据集的质量和信息量成正比。