[论文解读] Fair Coresets and Streaming Algorithms for Fair k-Means Clustering

Melanie Schmidt, Chris Schwiegelshohn+1 more|arXiv (Cornell University)|Dec 28, 2018

Privacy-Preserving Technologies in Data参考文献 41被引用 37

一句话总结

本文提出了公平核心集（fair coresets）用于 k-均值聚类，确保敏感属性（如种族、性别）在聚类中实现均衡表示。通过提出一种专为公平性设计的可组合核心集定义，作者实现了高效的流式处理与分布式算法，以更小的数据规模和可扩展的计算，实现 (1+ε)-近似公平 k-均值聚类。

ABSTRACT

We study fair clustering problems as proposed by Chierichetti et al. (NIPS 2017). Here, points have a sensitive attribute and all clusters in the solution are required to be balanced with respect to it (to counteract any form of data-inherent bias). Previous algorithms for fair clustering do not scale well. We show how to model and compute so-called coresets for fair clustering problems, which can be used to significantly reduce the input data size. We prove that the coresets are composable and show how to compute them in a streaming setting. Furthermore, we propose a variant of Lloyd's algorithm that computes fair clusterings and extend it to a fair k-means++ clustering algorithm. We implement these algorithms and provide empirical evidence that the combination of our approximation algorithms and the coreset construction yields a scalable algorithm for fair k-means clustering.

研究动机与目标

• 解决公平聚类算法在处理大规模数据集时面临的可扩展性挑战，这些算法通常缺乏随机访问能力。
• 形式化一种新的核心集定义，确保在具有敏感属性的聚类中实现公平性与可组合性。
• 基于所提出的公平核心集构造，设计用于公平 k-均值聚类的流式与分布式算法。
• 扩展 Lloyd 算法与 k-means++ 算法，在保持近似质量的同时维持公平性。
• 通过实证结果证明，将公平核心集与近似算法结合，可为公平 k-均值聚类提供实用且可扩展的解决方案。

提出的方法

• 提出一种公平感知的核心集定义，可推广至 ℓ 种颜色类别，并通过 min(r_C/b_C, b_C/r_C) ≥ 1/2 确保聚类平衡。
• 证明所提出的公平核心集具备可组合性，从而可应用于流式与分布式场景。
• 利用采样与投影技术，构建大小为 O(ℓk log n / ε^{d-1}) 的核心集，适用于常数维度 d。
• 将无偏投影（Rademacher 矩阵）与基于移动性的核心集构造结合，以降低维度并保持聚类代价的近似性。
• 在核心集上使用 γ-近似算法计算公平聚类中心，随后通过加权线性组合将结果映射回原始空间。
• 利用投影代价保持性投影（projection-cost preserving sketches）确保核心集中的聚类代价在 (1±ε) 因子内近似原始数据的代价。

实验结果

研究问题

• RQ1 能否设计出在保留公平性与近似保证的同时，适用于公平 k-均值聚类的核心集？
• RQ2 是否可能构建出可在数据分区之间组合的核心集，从而支持流式与分布式部署？
• RQ3 在随机访问受限的流式环境中，如何高效地执行公平聚类？
• RQ4 能否对现有的 k-均值算法（如 Lloyd 算法与 k-means++）进行改进，使其在不牺牲近似质量的前提下维持公平性？
• RQ5 在公平聚类中，核心集大小、公平性与近似误差之间存在何种权衡？

主要发现

• 所提出的公平核心集定义确保了可组合性，并支持 ℓ 种颜色类别的聚类，从而在分布式与流式环境中实现可扩展的公平聚类。
• 对于常数维度 d，核心集大小为 O(ℓk log n / ε^{d-1})，该大小与输入规模 n 无关，且具有高效的可扩展性。
• 流式算法在投影后仅使用 O(k/ε²) 个维度，即可实现对公平 k-均值代价的 (1+ε)-近似，显著降低了空间与时间复杂度。
• 在所提出的公平核心集框架下，公平 k-means++ 与改进版 Lloyd 算法变体在保持公平性的同时，实现了常数因子近似保证。
• 实证评估表明，公平核心集与近似算法的结合可为大规模公平 k-均值聚类提供可扩展的解决方案。
• 理论分析表明，核心集将聚类代价保持在 (1±ε) 因子内，最终聚类解对最优公平解实现了 (1+ε)-近似。