[论文解读] Better Algorithms for Individually Fair $k$-Clustering

Deeparnab Chakrabarty, Maryam Negahbani|arXiv (Cornell University)|Jun 23, 2021

Facility Location and Emergency Management参考文献 34被引用 5

一句话总结

本文提出了一种基于线性规划（LP）的新算法，用于个体公平的 $k$-聚类问题，其聚类代价和公平性保证均显著优于先前工作。通过结合 LP 四舍五入与稀疏化技术，该方法在 $k$-Median 上实现了 $(8, 8)$-近似，在 $k$-Means 上实现了 $(8, 4)$-近似，实测代价接近最优（误差低于 1%），公平性违规低于 1.27×，在目标质量与公平性分布方面均优于以往的局部搜索方法。

ABSTRACT

We study data clustering problems with $\ell_p$-norm objectives (e.g. $k$-Median and $k$-Means) in the context of individual fairness. The dataset consists of $n$ points, and we want to find $k$ centers such that (a) the objective is minimized, while (b) respecting the individual fairness constraint that every point $v$ has a center within a distance at most $r(v)$, where $r(v)$ is $v$'s distance to its $(n/k)$th nearest point. Jung, Kannan, and Lutz [FORC 2020] introduced this concept and designed a clustering algorithm with provable (approximate) fairness and objective guarantees for the $\ell_\infty$ or $k$-Center objective. Mahabadi and Vakilian [ICML 2020] revisited this problem to give a local-search algorithm for all $\ell_p$-norms. Empirically, their algorithms outperform Jung et. al.'s by a large margin in terms of cost (for $k$-Median and $k$-Means), but they incur a reasonable loss in fairness. In this paper, our main contribution is to use Linear Programming (LP) techniques to obtain better algorithms for this problem, both in theory and in practice. We prove that by modifying known LP rounding techniques, one gets a worst-case guarantee on the objective which is much better than in MV20, and empirically, this objective is extremely close to the optimal. Furthermore, our theoretical fairness guarantees are comparable with MV20 in theory, and empirically, we obtain noticeably fairer solutions. Although solving the LP {\em exactly} might be prohibitive, we demonstrate that in practice, a simple sparsification technique drastically improves the run-time of our algorithm.

研究动机与目标

• 为现有个体公平 $k$-聚类算法中存在的缺陷提供解决方案，这些缺陷通常以牺牲目标质量或公平性为代价。
• 设计一种可证明更优的算法，用于在个体公平约束下对 $\ell_p$-范数聚类目标进行优化，尤其针对 $k$-Median 和 $k$-Means 问题。
• 改进先前局部搜索方法（如 Mahabadi 和 Vakilian, 2020）所呈现的聚类代价与公平性违规之间的权衡。
• 证明基于 LP 的四舍五入结合稀疏化可在保证强理论保证的同时实现实际效率。
• 通过实证验证，确认该算法可实现接近最优的代价，并显著优于以往工作的公平性分布。

提出的方法

• 将个体公平的 $k$-聚类问题建模为线性规划问题，通过基于 $(n/k)$-th 近邻距离的客户端特定半径约束 $r(v)$ 来强制实现公平性。
• 采用改进的 LP 四舍五入技术，将分数解转换为具有有界代价与公平性违规的整数聚类解。
• 引入稀疏化步骤，以减少 LP 约束矩阵中的非零条目数量，从而在几乎不损失解质量的前提下大幅提升运行效率。
• 借鉴加权 $k$-中心问题与有序中位数问题的洞察，指导 LP 构建与四舍五入策略的设计。
• 采用两阶段方法：首先求解 LP 以获得分数解，然后通过尊重公平性与代价目标的随机化过程进行四舍五入。
• 使用 LP 代价作为下界，以评估最终解的最优性差距。

实验结果

研究问题

• RQ1 基于 LP 的方法是否能在聚类代价与个体公平性之间实现优于现有局部搜索算法的权衡？
• RQ2 所提算法的公平性分布（即每客户端的违规比率）与以往工作相比如何，特别是在低违规或零违规客户端数量方面？
• RQ3 对 LP 约束矩阵进行稀疏化在多大程度上能保持解质量的同时提升运行效率？
• RQ4 所提算法的实测代价与最优代价有多接近？与非公平算法（如 $k$-Means++）的代价相比如何？
• RQ5 公平性的代价是多少？当放宽公平性约束时，该代价如何变化？

主要发现

• 所提出的 Fair-Round 算法在 $k$-Median 上实现了 $(8, 8)$-近似，在 $k$-Means 上实现了 $(8, 4)$-近似，显著优于先前工作的 $Cp$-因子代价保证。
• 实测结果表明，Fair-Round 的聚类代价在大多数情况下与最优代价相差不足 1%，且从未超过 LP 下界的 15%。
• 最大公平性违规（即 $\max_v d(v,S)/r(v)$）最多为 1.27×，远优于理论保证的 8×，也显著优于 Mahabadi 和 Vakilian (2020) 的 7× 违规水平。
• 在几乎所有实验中，超过 80% 的客户端实现完全公平（即 $d(v,S) \leq r(v)$），表明其公平性分布远优于以往方法。
• 稀疏化版本 Sparse-Fair-Round 的运行时间与 $k$-Means++ 及 Jung et al. (2020) 的算法相当，同时保持了接近最优的代价与公平性。
• 当公平性约束放宽至与 Mahabadi 和 Vakilian (2020) 一致时，所提算法的代价反而低于其方法，表明其在代价-公平性权衡上更具优势。