[论文解读] Clustering with Fairness Constraints: A Flexible and Scalable Approach

Imtiaz Masud Ziko, Éric Granger+2 more|arXiv (Cornell University)|Jun 19, 2019

Health disparities and outcomes参考文献 20被引用 10

一句话总结

本文提出了一种灵活且可扩展的变分框架，用于公平聚类，通过KL散度公平性惩罚的紧上界，将任意的人口统计比例约束整合到多种聚类目标（如K-means、K-median和Normalized Cut）中。该方法实现了联合优化并具有收敛性保证，支持独立的逐分配更新，适用于分布式计算，并能高效控制公平性与聚类质量之间的权衡。

ABSTRACT

This study investigates a general variational formulation of fair clustering, which can integrate fairness constraints with a large class of clustering objectives. Unlike the existing methods, our formulation can impose any desired (target) demographic proportions within each cluster. Furthermore, it enables to control the trade-off between the fairness and clustering terms. We derive an auxiliary function (tight upper bound) of our KL-based fairness penalty via its concave-convex decomposition and Lipschitz-gradient property. Our upper bound can be optimized jointly with various clustering objectives, including prototype-based, such as K-means and K-median, or graph-based such as Normalized Cut. Interestingly, at each iteration, our general fair-clustering algorithm performs an independent update for each assignment variable, while guaranteeing convergence. Therefore, it can be easily distributed for large-scale data sets. Such scalability is important as it enables to explore different trade-off levels between the fairness and clustering objectives. Unlike fairness-constrained spectral clustering, our formulation does not need storing an affinity matrix and computing its eigenvalue decomposition. We show the effectiveness, flexibility and scalability of our approach through comprehensive evaluations and comparisons to the existing methods over several data sets.

研究动机与目标

• 解决现有公平聚类方法无法灵活在聚类内强制执行任意目标人口统计比例的局限性。
• 开发一个统一框架，将公平性约束与广泛类别的聚类目标（包括基于原型和基于图的方法）相结合。
• 通过公平性惩罚的紧上界实现可扩展优化，支持在大规模数据集上进行分布式和高效计算。
• 消除基于谱聚类的公平性方法中常见的特征值分解（如相似度矩阵）等计算密集型步骤。
• 提供灵活的公平性与聚类质量之间的权衡机制，支持探索不同公平性水平。

提出的方法

• 提出一个通用的变分目标，将聚类损失与基于KL散度的公平性惩罚相结合，以在每个聚类中强制实现期望的人口统计比例。
• 利用凸凹分解和KL散度的Lipschitz-梯度性质，推导出公平性惩罚的紧上界。
• 通过统一的算法框架，将该上界与多种聚类目标（如K-means、K-median和Normalized Cut）联合优化。
• 采用迭代优化策略，每次迭代中独立更新每个聚类分配变量，确保收敛性并支持并行化。
• 避免存储和计算大规模相似度矩阵的特征值分解，与基于谱聚类的公平性约束方法不同。
• 通过调节目标函数中两项平衡的超参数，支持灵活控制公平性与聚类性能之间的权衡。

实验结果

研究问题

• RQ1 统一框架是否能够在多种聚类目标下，对每个聚类强制实现任意的目标人口统计比例？
• RQ2 如何将公平性约束与聚类目标结合，以保持计算可扩展性和收敛性？
• RQ3 与现有公平聚类方法相比，该方法在公平性、聚类质量与效率方面有多大程度的提升？
• RQ4 该方法是否能够避免谱聚类中特征值分解的计算瓶颈，同时保持公平性保证？
• RQ5 该方法在不同数据分布和公平性水平下，平衡公平性与聚类性能的效率如何？

主要发现

• 所提方法通过允许每个聚类中设定任意目标人口统计比例，实现了优于先前方法的公平性强制执行能力，后者通常采用固定或二值化约束。
• 推导出的公平性惩罚上界使得能够与多种聚类目标（包括K-means、K-median和Normalized Cut）联合优化，并保证收敛性。
• 算法的独立分配更新机制支持高效的分布式实现，在大规模数据集上显著提升了可扩展性。
• 该方法避免了存储相似度矩阵和执行特征值分解，与基于公平性约束的谱聚类相比，计算开销更低。
• 全面的实验评估表明，该方法在公平性、聚类质量与可扩展性方面均表现出色，优于现有方法，尤其在公平性与聚类质量的权衡上表现突出。
• 通过调节单一超参数，该框架能够系统性探索公平性与聚类性能之间的权衡，具有在实际应用中的实用价值。