[论文解读] A Stochastic Alternating Balance $k$-Means Algorithm for Fair Clustering

Suyun Liu, L. N. Vicente|arXiv (Cornell University)|May 29, 2021

Privacy-Preserving Technologies in Data参考文献 32被引用 4

一句话总结

该论文提出了一种用于公平聚类的随机交替平衡 $k$-均值（SAfairKM）算法，通过在小批量 $k$-均值更新与群体互换更新之间交替，以平衡聚类代价与人口统计公平性。该方法在合成数据集和真实数据集上高效生成了高质量、分布均匀的Pareto前沿，其计算效率和鲁棒性优于基于惩罚的公平性方法。

ABSTRACT

In the application of data clustering to human-centric decision-making systems, such as loan applications and advertisement recommendations, the clustering outcome might discriminate against people across different demographic groups, leading to unfairness. A natural conflict occurs between the cost of clustering (in terms of distance to cluster centers) and the balance representation of all demographic groups across the clusters, leading to a bi-objective optimization problem that is nonconvex and nonsmooth. To determine the complete trade-off between these two competing goals, we design a novel stochastic alternating balance fair $k$-means (SAfairKM) algorithm, which consists of alternating classical mini-batch $k$-means updates and group swap updates. The number of $k$-means updates and the number of swap updates essentially parameterize the weight put on optimizing each objective function. Our numerical experiments show that the proposed SAfairKM algorithm is robust and computationally efficient in constructing well-spread and high-quality Pareto fronts both on synthetic and real datasets.

研究动机与目标

• 解决最小化聚类代价与确保聚类中人口统计群体代表性均衡之间的固有冲突。
• 开发一种稳健且计算高效的算法，用于生成分布均匀且高质量的Pareto前沿。
• 提供一种灵活的内处理框架，允许在聚类质量与公平性之间进行权衡，而无需依赖惩罚参数。
• 通过使用交替更新机制，在保持公平性的同时优化聚类代价，从而超越现有基于惩罚的公平性方法。
• 实现在Adult和Bank等真实世界数据集上对多个人口统计群体的可扩展公平聚类。

提出的方法

• 该算法在经典小批量 $k$-均值更新（以最小化聚类代价）与群体互换更新（以改善各聚类间的人口统计平衡）之间交替进行。
• $k$-均值更新与互换更新的次数作为控制聚类代价与公平性之间权衡的参数。
• 通过列表更新机制连接来自不同初始化和更新对的多个并行运行，提升鲁棒性并有助于逃离局部最优。
• 该方法被设计为双目标优化框架，显式平衡聚类代价与人口统计代表性。
• 通过结构化的互换操作直接强制实现公平性，避免使用惩罚系数，与以往依赖KL散度惩罚的方法形成对比。
• 该算法被应用于包括Adult和Bank在内的合成与真实世界数据集，涵盖不同聚类数和人口群体比例。

实验结果

研究问题

• RQ1 如何设计一种聚类算法，以在最小化聚类代价与确保人口统计群体公平代表性之间实现平衡？
• RQ2 在 $k$-均值与群体互换之间交替更新，是否能生成比基于惩罚的方法更高质量且分布更均匀的Pareto前沿？
• RQ3 在不同数据分布和人口群体不平衡条件下，该算法在计算效率和鲁棒性方面表现如何？
• RQ4 调整 $k$-均值与互换更新的次数对Pareto前沿的质量与分布有何影响？
• RQ5 该方法能否在具有多个受保护属性和复杂群体分布的真实世界数据集上实现有效扩展？

主要发现

• 在所有四个合成数据集上，SAfairKM生成的Pareto前沿比基于惩罚的VfairKM方法更加分布均匀且质量更高，无论群体不平衡程度如何。
• SAfairKM在每组非支配解上的平均CPU时间显著更低：Syn_equal_ds1为0.80秒，而VfairKM为1.06秒；Bank数据集（K=10）为59.12秒，而VfairKM为76.29秒。
• 在Adult数据集（K=10）上，SAfairKM每解平均CPU时间为18.52秒，而VfairKM为40.43秒，表明其计算效率更优。
• 列表更新机制通过连接多个运行提升了鲁棒性，降低了对初始化的敏感性，并促进了向高质量解的收敛。
• 在Bank数据集（K=5）上，SAfairKM每解仅需11.97秒，而VfairKM为50.31秒，凸显其在大规模数据集上的可扩展性。
• 该方法在群体规模不均等的数据集（如 |V₁|:|V₂|=1:3）中仍保持强劲性能，证实其在人口统计不平衡条件下的鲁棒性。