[论文解读] Classification Under Misspecification: Halfspaces, Generalized Linear Models, and Connections to Evolvability

Sitan Chen, Frederic Koehler+2 more|arXiv (Cornell University)|Jun 8, 2020

Machine Learning and Algorithms参考文献 55被引用 9

一句话总结

该论文提出了一种在Massart噪声下学习半空间的简单且正确的学习算法，实现了与最优分类器误差相差η+ε的性能，并引入了一种新颖的知识蒸馏框架，可将复杂模型转化为鲁棒且公平的半空间。该研究首次建立了最优学习的超多项式统计查询下界，将鲁棒性与可演化性联系起来，并展示了强大的经验公平性特征。

ABSTRACT

In this paper we revisit some classic problems on classification under misspecification. In particular, we study the problem of learning halfspaces under Massart noise with rate $η$. In a recent work, Diakonikolas, Goulekakis, and Tzamos resolved a long-standing problem by giving the first efficient algorithm for learning to accuracy $η+ ε$ for any $ε> 0$. However, their algorithm outputs a complicated hypothesis, which partitions space into $ ext{poly}(d,1/ε)$ regions. Here we give a much simpler algorithm and in the process resolve a number of outstanding open questions: (1) We give the first proper learner for Massart halfspaces that achieves $η+ ε$. We also give improved bounds on the sample complexity achievable by polynomial time algorithms. (2) Based on (1), we develop a blackbox knowledge distillation procedure to convert an arbitrarily complex classifier to an equally good proper classifier. (3) By leveraging a simple but overlooked connection to evolvability, we show any SQ algorithm requires super-polynomially many queries to achieve $\mathsf{OPT} + ε$. Moreover we study generalized linear models where $\mathbb{E}[Y|\mathbf{X}] = σ(\langle \mathbf{w}^*, \mathbf{X} angle)$ for any odd, monotone, and Lipschitz function $σ$. This family includes the previously mentioned halfspace models as a special case, but is much richer and includes other fundamental models like logistic regression. We introduce a challenging new corruption model that generalizes Massart noise, and give a general algorithm for learning in this setting. Our algorithms are based on a small set of core recipes for learning to classify in the presence of misspecification. Finally we study our algorithm for learning halfspaces under Massart noise empirically and find that it exhibits some appealing fairness properties.

研究动机与目标

• 解决半空间在Massart噪声下学习的长期开放问题，特别是缺乏具有最优误差保证的正确学习算法。
• 开发一种黑箱知识蒸馏程序，将任意复杂分类器转化为具有相同准确率的正确半空间，从而提升公平性。
• 首次建立在半空间学习中实现最优误差的统计查询下界，将可学习性与可演化性概念联系起来。
• 将Massart噪声模型推广至更丰富的广义线性模型（GLMs），采用奇函数、单调且L-Lipschitz的链接函数，包括逻辑回归。
• 在真实数据集（如UCI Adult）上实证验证所提算法在数据腐败情况下的公平性与鲁棒性，特别是针对人口统计特征被污染的情况。

提出的方法

• 提出一种新颖且简单的算法，用于在Massart噪声下学习半空间，输出一个正确的假设（即单一线性阈值函数），避免对输入空间进行复杂划分。
• 采用核心技术：识别并修正当前假设在输入空间中表现较差的区域，利用统计查询检测误分类模式。
• 提出一种广义腐败模型，将Massart噪声扩展至GLMs，其中E[Y|X] = σ(⟨w*, X⟩)，σ为奇函数、单调且L-Lipschitz，从而提升适用范围。
• 开发一种黑箱知识蒸馏方法，将任意分类器（即使为非正确分类器）的性能转化为正确半空间，同时保持准确率。
• 通过理论连接，将实现最优误差的难度与可演化性概念联系起来，从而推导出超多项式统计查询下界。
• 在UCI Adult数据集上对算法进行实证评估，针对人口统计谓词（种族、性别、国籍）施加目标Massart噪声，比较各类模型在公平性与准确率上的表现。

实验结果

研究问题

• RQ1 能否设计一种正确的学习算法，用于在Massart噪声下学习半空间，实现误差η+ε（对任意ε>0），且无需将输入空间划分为poly(d,1/ε)个区域？
• RQ2 能否构建一种黑箱知识蒸馏程序，将任意复杂分类器转化为具有相同预测准确率的正确半空间？
• RQ3 在Massart噪声下实现最优误差（OPT+ε）的半空间学习中，基本的统计查询复杂度极限是什么？
• RQ4 所提算法在公平性方面表现如何，特别是在数据腐败下是否显著降低了受保护群体的假阴性率？
• RQ5 所提框架在多大程度上可推广至采用任意奇函数、单调且Lipschitz链接函数的广义线性模型？

主要发现

• 所提算法通过使用正确的单一线性阈值函数，实现了对任意ε>0的误差η+ε，解决了鲁棒学习中的一个关键开放问题。
• 该算法在实践中展现出强大的公平性特征：与逻辑回归和基于ReLU的神经网络等标准模型相比，在Massart噪声下显著降低了受保护群体（如非裔美国人、女性、移民）的假阴性率。
• 开发了一种知识蒸馏程序，可将任意分类器转化为与之测试准确率相同的正确半空间，从而实现鲁棒且可解释的模型。
• 论文首次建立了实现OPT+ε误差的超多项式统计查询下界，表明除非进行超多项式查询，否则任何高效的统计查询算法都无法实现最优误差。
• 该理论下界通过与可演化性概念的全新联系推导得出，表明鲁棒性与可学习性深刻关联于计算复杂度。
• 在UCI Adult数据集上的实证结果表明，FilterTron（所提方法）在去除人口统计特征后仍能保持高准确率与公平性，其公平性指标优于逻辑回归和LeakyRelu上的梯度下降方法。