[论文解读] Coresets for Clustering with Fairness Constraints

Lingxiao Huang, Shaofeng H.-C. Jiang+1 more|arXiv (Cornell University)|Jun 20, 2019

Face and Expression Recognition参考文献 31被引用 21

一句话总结

本文提出了首个已知的公平 $k$-中位数聚类的共轭核构造，并改进了先前针对具有多个非互斥敏感类型（如种族和性别）的公平 $k$-均值聚类的共轭核方法。通过利用新颖的几何构造，作者实现了 $k$-中位数的 $\varepsilon$-共轭核大小为 $O(\Gamma k^2\varepsilon^{-d})$，$k$-均值的大小为 $O(\Gamma k^3\varepsilon^{-d-1})$，其中 $\Gamma$ 是数据点可能属于的不同群体组合的数量，与完整数据集大小无关，从而实现了具有可证明近似保证的可扩展公平聚类。

ABSTRACT

In a recent work, [19] studied the following "fair" variants of classical clustering problems such as $k$-means and $k$-median: given a set of $n$ data points in $\mathbb{R}^d$ and a binary type associated to each data point, the goal is to cluster the points while ensuring that the proportion of each type in each cluster is roughly the same as its underlying proportion. Subsequent work has focused on either extending this setting to when each data point has multiple, non-disjoint sensitive types such as race and gender [6], or to address the problem that the clustering algorithms in the above work do not scale well. The main contribution of this paper is an approach to clustering with fairness constraints that involve multiple, non-disjoint types, that is also scalable. Our approach is based on novel constructions of coresets: for the $k$-median objective, we construct an $\varepsilon$-coreset of size $O(Γk^2 \varepsilon^{-d})$ where $Γ$ is the number of distinct collections of groups that a point may belong to, and for the $k$-means objective, we show how to construct an $\varepsilon$-coreset of size $O(Γk^3\varepsilon^{-d-1})$. The former result is the first known coreset construction for the fair clustering problem with the $k$-median objective, and the latter result removes the dependence on the size of the full dataset as in [39] and generalizes it to multiple, non-disjoint types. Plugging our coresets into existing algorithms for fair clustering such as [5] results in the fastest algorithms for several cases. Empirically, we assess our approach over the extbf{Adult}, extbf{Bank}, extbf{Diabetes} and extbf{Athlete} dataset, and show that the coreset sizes are much smaller than the full dataset. We also achieve a speed-up to recent fair clustering algorithms [5,6] by incorporating our coreset construction.

研究动机与目标

• 解决现有公平聚类算法在大规模数据集上扩展性差的问题。
• 将公平聚类扩展到包含多个非互斥敏感类型（如种族和性别）的场景。
• 构建与完整数据集大小 $n$ 无关的公平 $k$-中位数和 $k$-均值聚类的共轭核。
• 确保共轭核在保持小尺寸和低近似误差的同时，保留公平性约束。
• 通过使用共轭核作为完整数据集的代理，加速公平聚类目标的计算。

提出的方法

• 通过尊重多个敏感类型下公平约束的几何采样技术构造 $\varepsilon$-共轭核。
• 将 $\Gamma$ 定义为数据点可能属于的不同群体组合的数量，该值独立于 $n$，从而限制共轭核大小。
• 基于线性情况分析提出一种新颖的 $k$-中位数共轭核构造，并通过几何划分方法推广至高维空间。
• 通过引入二阶矩近似并采用分组加权方法，将该方法扩展至 $k$-均值聚类，以处理非互斥类型。
• 通过浓度不等式和敏感度采样证明共轭核的正确性，确保公平聚类目标的 $(1\pm\varepsilon)$-近似。
• 优化实现方式，避免实践中出现 $\varepsilon^{-d}$ 因子，从而实现更小且更快的共轭核生成。

实验结果

研究问题

• RQ1 我们能否构造一个大小与完整数据集大小 $n$ 无关的公平 $k$-中位数聚类 $\varepsilon$-共轭核？
• RQ2 我们能否将现有公平 $k$-均值聚类的共轭核构造扩展至处理多个非互斥敏感类型？
• RQ3 我们如何确保共轭核在最小化尺寸和近似误差的同时维持公平性约束？
• RQ4 该共轭核在加速 FairTree 和 FairLP 等公平聚类算法方面的实际性能如何？
• RQ5 该共轭核构造能否高效到足以在多个公平性约束或聚类任务中重复使用？

主要发现

• 公平 $k$-中位数的共轭核是此类构造的首个已知实例，其大小为 $O(\Gamma k^2\varepsilon^{-d})$。
• 对于公平 $k$-均值聚类，共轭核大小 $O(\Gamma k^3\varepsilon^{-d-1})$ 在先前工作的基础上实现了改进，消除了对 $\log n$ 的依赖，并推广至多个非互斥类型。
• 在 Adult、Bank、Diabetes 和 Athlete 数据集上，共轭核大小小于完整数据集大小的 3%，即可实现 5% 的经验误差。
• 共轭核使公平聚类目标的评估速度提升了 200 倍，即使包含共轭核构建时间在内。
• 与 FairTree 和 FairLP 集成后，分别实现了 5x–15x 和 15x–30x 的加速，且 FairLP 在所有数据集上运行时间均低于 1 秒。
• 在共轭核上计算的聚类目标与完整数据集目标的比值为 0.6–1.2 倍之间，仅在 Census1990 数据集中例外（为 35%），原因是在较小数据上获得了更优的近似解。