[논문 리뷰] Better Algorithms for Individually Fair $k$-Clustering

Deeparnab Chakrabarty, Maryam Negahbani|arXiv (Cornell University)|2021. 06. 23.

Facility Location and Emergency Management참고 문헌 34인용 수 5

한 줄 요약

이 논문은 개별적 공정성을 고려한 $k$-클러스터링을 위한 새로운 선형계획법(LP)-기반 알고리즘을 제안하며, 이는 이전 연구 대비 클러스터링 비용과 공정성 보장 측면에서 크게 향상된다. LP 라운딩과 희소화를 활용함으로써 $k$-Median에 대해 $(8, 8)$-근사, $k$-Means에 대해 $(8, 4)$-근사 성능을 달성하며, 경험적 비용은 최적값의 1% 이내에 머물르고 공정성 위반은 1.27배 이내로 유지되어, 이전의 국소 탐색 방법보다 목적 함수 품질과 공정성 분포 측면에서 모두 뛰어나다.

ABSTRACT

We study data clustering problems with $\ell_p$-norm objectives (e.g. $k$-Median and $k$-Means) in the context of individual fairness. The dataset consists of $n$ points, and we want to find $k$ centers such that (a) the objective is minimized, while (b) respecting the individual fairness constraint that every point $v$ has a center within a distance at most $r(v)$, where $r(v)$ is $v$'s distance to its $(n/k)$th nearest point. Jung, Kannan, and Lutz [FORC 2020] introduced this concept and designed a clustering algorithm with provable (approximate) fairness and objective guarantees for the $\ell_\infty$ or $k$-Center objective. Mahabadi and Vakilian [ICML 2020] revisited this problem to give a local-search algorithm for all $\ell_p$-norms. Empirically, their algorithms outperform Jung et. al.'s by a large margin in terms of cost (for $k$-Median and $k$-Means), but they incur a reasonable loss in fairness. In this paper, our main contribution is to use Linear Programming (LP) techniques to obtain better algorithms for this problem, both in theory and in practice. We prove that by modifying known LP rounding techniques, one gets a worst-case guarantee on the objective which is much better than in MV20, and empirically, this objective is extremely close to the optimal. Furthermore, our theoretical fairness guarantees are comparable with MV20 in theory, and empirically, we obtain noticeably fairer solutions. Although solving the LP {\em exactly} might be prohibitive, we demonstrate that in practice, a simple sparsification technique drastically improves the run-time of our algorithm.

연구 동기 및 목표

• 기존의 개별적 공정성 기반 $k$-클러스터링 알고리즘들이 목적 함수 품질이나 공정성을 희생하는 데서 발생하는 격차를 해결하기 위해.
• 특히 $k$-Median과 $k$-Means에 대해 개별 공정성 제약 조건 하에 $\ell_p$-노름 클러스터링 목적 함수를 더 잘 보장하는 증명 가능하게 우수한 알고리즘을 설계하기 위해.
• 이전의 국소 탐색 방법(예: Mahabadi와 Vakilian, 2020)에서 관찰된 클러스터링 비용과 공정성 위반 간의 상호 상충 관계를 개선하기 위해.
• LP 기반 라운딩과 희소화가 이론적 보장과 실용적 효율성을 동시에 달성할 수 있음을 입증하기 위해.
• 경험적으로 제안된 알고리즘이 최적 비용에 매우 가까운 비용을 기록하고 이전 연구 대비 훨씬 더 우수한 공정성 분포를 보임을 검증하기 위해.

제안 방법

• 고객별 반경 제약 조건 $r(v)$를 도입하여, 각 고객 $v$의 $(n/k)$-번째로 가까운 이웃 거리에 기반한 개별 공정성 제약 조건을 포함한 선형계획법으로 개별 공정성 $k$-클러스터링 문제를 수식화한다.
• 분수형 LP 해를 정수형 클러스터링 해로 변환하는 수정된 LP 라운딩 기법을 사용하여 비용과 공정성 위반을 제한된 수준으로 유지한다.
• LP 제약 행렬의 비제로 요소 수를 줄이는 희소화 단계를 도입함으로써 런타임을 크게 향상시키면서도 해 품질에 거의 영향을 주지 않는다.
• 가중치가 부여된 $k$-Center 문제와 순서 기반 중앙값 문제의 통찰을 활용하여 LP 구성 및 라운딩 전략을 설계한다.
• 이중 단계 접근법을 적용: 먼저 LP를 풀어 분수형 해를 확보한 후, 공정성과 비용 목표를 충족시키는 확률적 절차를 통해 이를 라운딩한다.
• 최종 해의 최적성 갭을 평가하기 위해 LP 비용을 하한선으로 사용한다.

실험 결과

연구 질문

• RQ1 기존의 국소 탐색 알고리즘보다 LP 기반 방법이 클러스터링 비용과 개인 공정성 간의 균형을 더 잘 달성할 수 있는가?
• RQ2 제안된 알고리즘의 공정성 분포(고객별 위반 비율)는 이전 연구와 비교해 어떻게 되는가? 특히 낮거나 영이 되는 위반 비율을 보이는 고객 수 측면에서 어떻게 다른가?
• RQ3 LP 제약 행렬의 희소화가 해 품질을 얼마나 유지하면서도 런타임 효율성을 얼마나 향상시키는가?
• RQ4 제안된 알고리즘의 경험적 비용은 최적 비용에 얼마나 가까운가? 또한 $k$-Means++와 같은 비공정 알고리즘의 비용과 비교해 어떻게 되는가?
• RQ5 공정성의 비용은 얼마이며, 공정성 제약 조건이 완화될 경우 어떻게 변화하는가?

주요 결과

• 제안된 Fair-Round 알고리즘은 $k$-Median에 대해 $(8, 8)$-근사, $k$-Means에 대해 $(8, 4)$-근사 성능을 달성하며, 이는 이전 연구의 $Cp$-요소 비용 보장보다 크게 향상된 것이다.
• 경험적으로 Fair-Round의 클러스터링 비용은 대부분의 경우 최적 비용의 1% 이내에 머물르며, 최대 15% 이내로 LP 하한선을 초과하지 않는다.
• 최대 공정성 위반(즉, $\max_v d(v,S)/r(v)$)은 최대 1.27배 이내이며, 이는 이론적 보장인 8배 보다 훨씬 우수하고, Mahabadi와 Vakilian(2020)의 7배 위반보다도 뚜렷이 우수하다.
• 대부분의 실험에서 80% 이상의 고객이 완전히 공정한 상태(즉, $d(v,S) \leq r(v)$)를 유지하며, 이는 이전 방법보다 훨씬 더 공정한 분포를 보여준다.
• 희소화된 버전인 Sparse-Fair-Round는 $k$-Means++와 Jung 등(2020)의 알고리즘과 유사한 런타임을 기록하면서도, 최적 비용과 공정성 품질을 거의 그대로 유지한다.
• Mahabadi와 Vakilian(2020)의 제약 조건 수준으로 공정성 제약 조건을 완화할 경우, 제안된 알고리즘의 비용은 그들보다 낮아져 더 나은 비용-공정성 균형을 확보하고 있음을 시사한다.