[论文解读] Faster Rates for Policy Learning

Alexander R. Luedtke, Antoine Chambaz|arXiv (Cornell University)|Apr 21, 2017

Advanced Bandit Algorithms Research参考文献 14被引用 7

一句话总结

本文在一般条件下建立了最优策略学习中快于常规的 1/2 阶 regret 衰减速率，表明在 Donsker 类上进行经验风险最小化可实现二阶 regret 衰减，而无需边际假设。此外，本文进一步证明当满足边际条件时，插补估计量可实现更快的衰减速率，其应用涵盖个性化医疗和上下文 bandits 问题。

ABSTRACT

This article improves the existing proven rates of regret decay in optimal policy estimation. We give a margin-free result showing that the regret decay for estimating a within-class optimal policy is second-order for empirical risk minimizers over Donsker classes, with regret decaying at a faster rate than the standard error of an efficient estimator of the value of an optimal policy. We also give a result from the classification literature that shows that faster regret decay is possible via plug-in estimation provided a margin condition holds. Four examples are considered. In these examples, the regret is expressed in terms of either the mean value or the median value; the number of possible actions is either two or finitely many; and the sampling scheme is either independent and identically distributed or sequential, where the latter represents a contextual bandit sampling scheme.

研究动机与目标

• 本文旨在将最优策略估计中的 regret 衰减速率提升至标准 n^{-1/2} 速率以上。
• 研究在不依赖严格边际假设的前提下，是否可实现更快的衰减速率。
• 研究重点为在 Donsker 类中进行的经验风险最小化（ERM）以及在边际条件下进行的插补估计。
• 将这些结果应用于个性化医疗中的个体化治疗规则，涵盖 i.i.d. 和序列（上下文 bandits）采样方案。
• 目标是建立在何种一般条件下，可实现 regret 的更快收敛。

提出的方法

• 通过在 Donsker 类上进行经验风险最小化（ERM）来估计最优策略。
• 利用 P-Donsker 类中的一致收敛性和连续性论证，建立 regret 衰减速率。
• 将策略学习与分类理论相联系，借助边际条件推导更快的衰减速率。
• 引入策略的利普希茨连续变换，以确保价值函数差异的稳定性。
• 证明依赖于经验过程的一致连续性以及条件密度的有界性。
• 使用函数 delta 方法和经验过程理论，以经验过程范数的形式界定 regret。

实验结果

研究问题

• RQ1 在不依赖边际假设的前提下，能否为策略学习建立快于 n^{-1/2} 的 regret 衰减速率？
• RQ2 在 Donsker 类上进行经验风险最小化是否可实现二阶 regret 衰减？
• RQ3 在何种条件下，插补估计量可实现比 ERM 更快的 regret 衰减速率？
• RQ4 边际条件如何影响策略学习中 regret 衰减的速率？
• RQ5 在不同采样方案下，策略价值连续性与 regret 衰减之间存在何种关系？

主要发现

• 在 Donsker 类上进行经验风险最小化的 regret 衰减速率达到二阶，快于有效估计量的标准误差。
• 本文建立的结论表明，即使不施加任何边际条件，regret 衰减仍可快于 n^{-1/2}。
• 在边际条件成立时，插补估计量可实现比 ERM 更快的 regret 衰减速率。
• 策略间的价值函数差异受策略差异的 L2(P)-范数有界，从而确保稳定性。
• 在边际条件与有界密度假设下，映射 π ↦ ˙Fπ(V(π)) 是一致连续的。
• 这些结果在 i.i.d. 和序列（上下文 bandits）采样方案下均成立，且在个性化医疗中有实际应用。