[论文解读] Constrained Classification and Policy Learning

Toru Kitagawa, Shosei Sakaguchi+1 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Causal Inference Techniques参考文献 58被引用 26

一句话总结

本文分析在受限的分类器集合下，代理损失方法何时保持一致性，证明在第二好（受限）情形下，铰链损失在保持一致性方面是唯一的，并为分类和策略学习开发了单调性和约束友好的铰链损失程序。

ABSTRACT

Modern machine learning approaches to classification, including AdaBoost, support vector machines, and deep neural networks, utilize surrogate loss techniques to circumvent the computational complexity of minimizing empirical classification risk. These techniques are also useful for causal policy learning problems, since estimation of individualized treatment rules can be cast as a weighted (cost-sensitive) classification problem. Consistency of the surrogate loss approaches studied in Zhang (2004) and Bartlett et al. (2006) crucially relies on the assumption of correct specification, meaning that the specified set of classifiers is rich enough to contain a first-best classifier. This assumption is, however, less credible when the set of classifiers is constrained by interpretability or fairness, leaving the applicability of surrogate loss based algorithms unknown in such second-best scenarios. This paper studies consistency of surrogate loss procedures under a constrained set of classifiers without assuming correct specification. We show that in the setting where the constraint restricts the classifier's prediction set only, hinge losses (i.e., $\ell_1$-support vector machines) are the only surrogate losses that preserve consistency in second-best scenarios. If the constraint additionally restricts the functional form of the classifier, consistency of a surrogate loss approach is not guaranteed even with hinge loss. We therefore characterize conditions for the constrained set of classifiers that can guarantee consistency of hinge risk minimizing classifiers. Exploiting our theoretical results, we develop robust and computationally attractive hinge loss based procedures for a monotone classification problem.

研究动机与目标

• 动机化并形式化受限的二元分类，其中预测集因可解释性、公平性或其他外部约束而受到限制。
• 刻画在受限分类器族下，代理损失最小化何时仍然保持风险一致性。
• 识别铰链损失在第二好受限设置下何时保持一致性、何时不保持。
• 开发实用、计算高效的基于铰链损失的单调分类程序，在受限条件下。
• 将受限分类结果与因果策略学习和在公平性或单调性约束下的处理分配联系起来。

提出的方法

• 通过将预测集合限制在 X 中的可行区域类 G 内，来定义受限的分类器类。
• 使用带有分类校准损失 φ 的代理损失最小化，并分析 R 与 R_φ 的错配性。
• 证明铰链损失 φ_h(α)=c max{0,1−α} 是唯一能保证第二好受限分类器一致性的代理损失。
• 通过对 F_G 的分类保留化约简，刻画在额外的函数形式限制下的一致性充要条件。
• 通过将预测集合限制为单调预测集合 G_M 及相应的函数类 F_M，开发单调分类程序，从而实现凸优化和基于筛的伯恩斯坦多项式逼近。
• 通过将处理分配框定为加权分类问题并将福利与加权错分风险相关联，演示这些结果如何扩展到策略学习。

实验结果

研究问题

• RQ1 在受限的分类器集合 F_G 下，代理风险最小化何时能够产生一个在 F_G 上使真实分类风险 R 最小的分类器？
• RQ2 铰链损失是否是唯一在第二好（受限）分类中保持一致性的代理损失？
• RQ3 超出 G 限制的预测集合的额外函数形式限制如何影响铰链风险最小化的一致性？
• RQ4 我们能否设计计算效率高、单调性（及其他基于约束的）铰链损失程序，且保持一致性？
• RQ5 将受限分类结果如何转化为在单调性或公平性约束下的因果策略学习与处理分配？

主要发现

• 铰链损失是唯一能在 G_constrained 预测集合下保证第二好分类器一致性的代理损失。
• 如果约束还限制分类器的函数形式，即使是铰链损失，一致性也可能失败。
• 通过一个简单、可检验的充分条件，在额外的函数形式限制下通过分类保留的约简获得铰链风险最小化的一致性。
• 使用预测集合 G_M 的单调分类导致实现一致性的受限化约简，且凸性使得可行的有限维线性规划成为可能。
• 使用伯恩斯坦多项式的筛选法提供实用、计算高效的单调分类器估计，且保证收敛 R(f̂_M) → inf_{f∈F_M} R(f)。
• 受限代理风险框架扩展至策略学习，显示最优处理规则对应于最优的（加权）分类器，并且单调约束在计算效率上优于混合整数方法。