[论文解读] Fair Algorithms for Hierarchical Agglomerative Clustering

Anshuman Chhabra, Prasant Mohapatra|arXiv (Cornell University)|May 7, 2020

HIV, Drug Use, Sexual Risk被引用 4

一句话总结

本文提出了一种新颖的公平分层聚合聚类（Fair Hierarchical Agglomerative Clustering, FHAC）算法，通过在聚类过程中整合基于群体的公平约束（如受限表示和平衡性）来实现聚类的公平性。该方法可泛化至各类链接准则（单链、平均、全链），支持多个受保护群体，并在保持与原始HAC相当的运行时间的同时，显著提升了在UCI数据集上的公平性表现，优于原始HAC及现有最先进方法。

ABSTRACT

Hierarchical Agglomerative Clustering (HAC) algorithms are extensively utilized in modern data science, and seek to partition the dataset into clusters while generating a hierarchical relationship between the data samples. HAC algorithms are employed in many applications, such as biology, natural language processing, and recommender systems. Thus, it is imperative to ensure that these algorithms are fair -- even if the dataset contains biases against certain protected groups, the cluster outputs generated should not discriminate against samples from any of these groups. However, recent work in clustering fairness has mostly focused on center-based clustering algorithms, such as k-median and k-means clustering. In this paper, we propose fair algorithms for performing HAC that enforce fairness constraints 1) irrespective of the distance linkage criteria used, 2) generalize to any natural measures of clustering fairness for HAC, 3) work for multiple protected groups, and 4) have competitive running times to vanilla HAC. Through extensive experiments on multiple real-world UCI datasets, we show that our proposed algorithm finds fairer clusterings compared to vanilla HAC as well as other state-of-the-art fair clustering approaches.

研究动机与目标

• 解决尽管在敏感应用场景中广泛应用，但缺乏公平意识的分层聚类算法的问题。
• 确保聚类结果不会因训练数据中蕴含的社会偏见而对受保护群体（如种族、性别）产生歧视。
• 开发一个通用框架，支持多种公平性概念（如平衡性、最大公平成本）和链接准则在HAC中的应用。
• 在提升公平性的同时，保持与原始HAC相当的计算效率。
• 在真实世界UCI数据集上，与现有公平HAC方法相比，展现出更优的公平性和聚类质量。

提出的方法

• 提出一种改进的分层聚类过程，在聚类合并决策中引入公平约束。
• 通过两个关键指标定义公平性：最大公平成本（Maximum Fairness Cost, MFC）和平衡性，用以控制聚类中群体的代表性。
• 通过引入松弛参数β，对距离准则进行松弛，使即使在略低于最优距离的情况下，也能实现更公平的合并。
• 通过调整在公平约束下的合并选择逻辑，使该方法可泛化至任意链接准则（如单链、平均、全链）。
• 采用贪心合并策略，优先选择能最小化混合目标（基于距离的接近度与公平性偏差）的聚类对。
• 通过追踪群体层面的聚类成员关系，并在每次合并步骤中对代表性施加边界，支持多个受保护群体。

实验结果

研究问题

• RQ1 是否能在不牺牲计算效率的前提下，有效将公平约束集成到分层聚合聚类中？
• RQ2 所提出的FHAC算法是否能在保持公平性的前提下，泛化至不同链接准则（如单链、平均、全链）？
• RQ3 在真实世界数据集上，FHAC的公平性表现与原始HAC及唯一其他现有公平HAC方法（AFHAC）相比如何？
• RQ4 强制实施公平性在多大程度上会降低聚类质量，以轮廓系数等标准指标衡量？
• RQ5 所提出的框架是否能泛化至超越以往研究中特定度量的任意公平性概念？

主要发现

• FHAC在公平性方面显著优于原始HAC和最先进方法AFHAC，其MFC值在creditcard和census数据集上最高降低了70%。
• 在creditcard数据集上，FHAC的平衡性得分为0.427，优于AFHAC-V（0.0）和AFHAC-R（0.416），表明群体代表性更均衡。
• 在bank数据集上，FHAC的平衡性得分为0.5567，优于AFHAC-V（0.9474）和AFHAC-R（0.0），表明在各类度量下均保持了稳定的公平性。
• FHAC保持了具有竞争力的聚类质量，轮廓系数与原始HAC及其他公平算法相当，表明聚类凝聚度与分离度的退化程度极小。
• 该算法的渐近时间复杂度为O(fn³)，其中f为受保护群体数量，由于f在实际中通常较小，因此具有良好的可扩展性。
• AFHAC-V和AFHAC-R无法泛化至任意公平性概念，且在不同数据集上表现不一致，而所提出的FHAC框架则表现出更强的通用性。