[论文解读] Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation

Yaqi Duan, Mengdi Wang|arXiv (Cornell University)|Feb 21, 2020

Advanced Bandit Algorithms Research参考文献 15被引用 15

一句话总结

该论文提出了一种基于回归的拟Q-迭代方法，用于具有线性函数逼近的离线策略评估，通过利用马尔可夫过程的压缩性质和鞅集中不等式，证明了其达到极小极大最优估计误差。关键结果表明，误差与目标策略和行为策略的状态动作分布之间的受限χ²散度成比例，该值可显著小于最坏情况下的密度比，从而实现数据高效评估。

ABSTRACT

This paper studies the statistical theory of batch data reinforcement learning with function approximation. Consider the off-policy evaluation problem, which is to estimate the cumulative value of a new target policy from logged history generated by unknown behavioral policies. We study a regression-based fitted Q iteration method, and show that it is equivalent to a model-based method that estimates a conditional mean embedding of the transition operator. We prove that this method is information-theoretically optimal and has nearly minimal estimation error. In particular, by leveraging contraction property of Markov processes and martingale concentration, we establish a finite-sample instance-dependent error upper bound and a nearly-matching minimax lower bound. The policy evaluation error depends sharply on a restricted $χ^2$-divergence over the function class between the long-term distribution of the target policy and the distribution of past data. This restricted $χ^2$-divergence is both instance-dependent and function-class-dependent. It characterizes the statistical limit of off-policy evaluation. Further, we provide an easily computable confidence bound for the policy evaluator, which may be useful for optimistic planning and safe policy improvement.

研究动机与目标

• 为使用线性函数逼近的离线策略评估建立有限样本误差界。
• 通过推导近乎匹配的极小极大下界，证明所提出的基于回归的方法在统计上是最优的。
• 通过函数类上的受限χ²散度，刻画离线策略评估的统计极限。
• 提供一种数据依赖的置信区间，用于策略评估，支持安全的策略改进。
• 表明函数逼近可通过利用有利的分布特性，显著降低估计误差，相比表格型重要性采样。

提出的方法

• 使用基于回归的拟Q-迭代（FQI）算法，通过在批量数据上进行监督学习，迭代估计Q函数。
• 将FQI方法等价为一种基于模型的插补估计器，用于估计转移算子的条件均值嵌入。
• 利用马尔可夫过程的压缩性质，控制多步累积误差，避免指数级增长。
• 应用鞅集中不等式，在高概率控制下推导有限样本误差界。
• 在函数类上引入受限χ²散度，用于度量目标策略与行为策略之间分布失配的程度。
• 作为FQI算法的副产品，推导出一种数据依赖的置信区间，适用于乐观规划。

实验结果

研究问题

• RQ1 在使用线性函数逼近时，离线策略评估的统计极限是什么？
• RQ2 基于回归的FQI方法能否在离线策略评估中实现极小极大最优误差？
• RQ3 目标策略与行为策略分布之间的受限χ²散度如何影响估计误差？
• RQ4 误差界能否实现数据依赖并可在实际中计算？
• RQ5 与表格型重要性采样相比，函数逼近是否能降低估计误差？

主要发现

• 所提出的基于回归的FQI方法实现了有限样本误差上界，其阶为$ H^{2} \sqrt{ \frac{1 + \chi_{\mathcal{Q}}^{2}(\mu^{\pi}, \bar{\mu})}{N} } $，其中$ N $为转移次数。
• 极小极大下界与上界近乎匹配，证明该方法在使用线性函数逼近的离线策略评估中具有信息论最优性。
• 受限χ²散度$ \chi_{\mathcal{Q}}^{2}(\mu^{\pi}, \bar{\mu}) $捕捉了OPE的统计难度，在函数逼近设置下可远小于最坏情况下的密度比。
• 只要$ N = \Omega(dH^3) $，误差不会因horizon而出现维度灾难，这是由于通过马尔可夫压缩实现线性误差累积。
• 该方法提供了依赖于数据和函数类的可计算置信区间，支持安全的策略改进与问责机制。
• 有限矩阵的条件数刻画了$ \chi_{\mathcal{Q}}^{2}(\mu^{\pi}, \bar{\mu}) $，使其能从数据中可靠估计。