[论文解读] Fair Hierarchical Clustering

Sara Ahmadian, Alessandro Epasto+7 more|arXiv (Cornell University)|Jun 18, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用 20

一句话总结

本文提出了一种公平分层聚类算法，确保在层次结构的所有层级上对受保护属性（如种族、性别）实现均衡表示，同时保持对标准目标（如收益、价值和成本）的强近似保证。通过将公平let框架扩展至分层聚类，作者提出了高效的算法，在仅造成可忽略的客观值下降的情况下，实现了接近最优的聚类质量，并通过实证验证了公平性，且未牺牲性能。

ABSTRACT

As machine learning has become more prevalent, researchers have begun to recognize the necessity of ensuring machine learning systems are fair. Recently, there has been an interest in defining a notion of fairness that mitigates over-representation in traditional clustering. In this paper we extend this notion to hierarchical clustering, where the goal is to recursively partition the data to optimize a specific objective. For various natural objectives, we obtain simple, efficient algorithms to find a provably good fair hierarchical clustering. Empirically, we show that our algorithms can find a fair hierarchical clustering, with only a negligible loss in the objective.

研究动机与目标

• 通过确保在所有聚类层级上对受保护属性实现均衡表示，解决分层聚类中的公平性问题。
• 将此前仅用于平坦聚类的公平let框架扩展至分层聚类，以获得可证明公平的解决方案。
• 为收益、价值和成本目标下的公平let分解开发高效的近似算法。
• 通过实证评估公平性与聚类质量之间的权衡，表明客观性能的下降可忽略不计。
• 为现实世界应用（如新闻组织和地理细分）中的公平分层聚类提供理论保证和实用算法。

提出的方法

• 将Dasgupta的分层聚类框架适配为通过受保护属性约束引入公平性，采用公平let分解方法。
• 提出一种黑箱归约：首先通过平均链接法等方法计算不公平的分层聚类，然后利用基于公平let的聚类重构以满足公平性要求。
• 设计一种两阶段算法：(1) 通过初始树的BFS遍历识别候选聚类，(2) 使用基于匹配的优化方法重新组合聚类以平衡受保护属性。
• 构建匹配图 $ H_M $ 以建模聚类间的不平衡，并通过受控权重调整的顶点重分配迭代修复未匹配顶点。
• 使用最小权重二等分黑箱算法，隔离并重新分配聚类内的少数颜色顶点，以实现平衡，同时最小化客观值损失。
• 应用贪心合并策略，将不平衡程度相似的聚类进行合并，确保层次结构所有层级的公平性。

实验结果

研究问题

• RQ1 能否在标准目标（如收益、价值和成本）下，为分层聚类实现具有可证明近似保证的公平分层聚类？
• RQ2 如何将公平let框架从平坦聚类扩展至分层聚类，以确保树结构每一层级的公平性？
• RQ3 在分层聚类中寻找良好公平let分解的计算复杂度如何？是否可高效近似？
• RQ4 强制实施公平性在多大程度上会降低分层聚类目标的质量？
• RQ5 所提出的算法能否在确保受保护属性均衡表示的同时，保持接近最优的聚类性能？

主要发现

• 在CensusMultiColor数据集上，对于收益目标，最终的公平聚类在3200个样本下达到了原始平均链接法性能的97.43%，表明性能下降可忽略不计。
• 在BankMultiColor数据集上，公平算法在3200个样本下达到了基线性能的98.43%，表现出强大的可扩展性及极小的客观值损失。
• 该算法的平均运行时间随数据规模呈亚线性增长，在CensusMultiColor数据集上6400个样本时达到803.59秒，证明了其实际效率。
• 使用随机公平let进行初始公平let分解会导致性能较差（例如在CensusMultiColor上仅为基线的61.94%），但通过迭代优化，最终算法将其提升至97.43%。
• 通过公平let分解和基于匹配的顶点重分配过程，算法成功在层次结构的所有层级上实现了受保护属性的均衡。
• 理论分析表明，基于公平let的方法在标准分层聚类框架下，对成本、收益和价值目标均提供了常数因子近似保证。