[论文解读] Envy-Free Classification

Maria-Florina Balcan, Travis Dick+2 more|arXiv (Cornell University)|Jan 1, 2019

Game Theory and Voting Systems被引用 8

一句话总结

本文引入了嫉妒-free分类作为机器学习中的公平性准则，即个体更倾向于自己的分类结果而非他人的。当使用低Natarajan维数的分类器族中的确定性分类器混合时，证明了少量样本即可确保嫉妒-free性质的泛化性，为在异质偏好下实现公平且可泛化的分类提供了理论保证。

ABSTRACT

In classic fair division problems such as cake cutting and rent division, envy-freeness requires that each individual (weakly) prefer his allocation to anyone else's. On a conceptual level, we argue that envy-freeness also provides a compelling notion of fairness for classification tasks, especially when individuals have heterogeneous preferences. Our technical focus is the generalizability of envy-free classification, i.e., understanding whether a classifier that is envy free on a sample would be almost envy free with respect to the underlying distribution with high probability. Our main result establishes that a small sample is sufficient to achieve such guarantees, when the classifier in question is a mixture of deterministic classifiers that belong to a family of low Natarajan dimension.

研究动机与目标

• 将嫉妒-free性确立为具有异质个体偏好的分类任务中一个有意义的公平性准则。
• 研究在有限样本上嫉妒-free的分类器是否在潜在数据分布上仍近似嫉妒-free。
• 在分类器族的复杂度假设较弱的前提下，提供嫉妒-free分类泛化性的理论保证。
• 证明当使用低Natarajan维数分类器的混合时，小样本大小足以以高概率实现对潜在分布的泛化。

提出的方法

• 将分类中的嫉妒-free性形式化为每个个体对其自身结果的偏好不弱于对任何其他个体结果的偏好。
• 将分类器建模为来自低Natarajan维数分类器族的确定性分类器的混合，以实现复杂度控制。
• 使用基于样本的实证嫉妒-free性作为总体公平性的代理，分析泛化差距。
• 应用统计学习理论工具，界定样本嫉妒-free分类器在总体分布上不近似嫉妒-free的概率。
• 利用低Natarajan维数控制假设类的复杂度，确保在小样本下实现泛化。
• 推导出高概率泛化界，以保证在潜在分布上以高置信度实现近乎嫉妒-free。

实验结果

研究问题

• RQ1 嫉妒-free性能否作为具有异质偏好分类任务中的可行公平性准则？
• RQ2 在有限样本上的实证嫉妒-free性在多大程度上能泛化到潜在数据分布？
• RQ3 对分类器族的哪些复杂度假设足以确保使用小样本时嫉妒-free性的泛化性？
• RQ4 分类器族的Natarajan维数如何影响实现可泛化嫉妒-free性的样本复杂度？

主要发现

• 在有限样本上嫉妒-free的分类器，以高概率在潜在分布上也近似嫉妒-free。
• 实现泛化的样本量取决于分类器族的Natarajan维数，而非个体数量。
• 低Natarajan维数确保假设类足够简单，从而可从小样本中实现泛化。
• 推导出的泛化界在分类器族的温和假设下，保证了高概率的近乎嫉妒-free性。
• 结果表明，当使用低复杂度族中的确定性分类器混合时，可利用小样本实现嫉妒-free性。
• 该理论框架为设计在实证上嫉妒-free且可泛化到未见数据的公平分类器提供了基础。