[논문 리뷰] A Stochastic Alternating Balance $k$-Means Algorithm for Fair Clustering

Suyun Liu, L. N. Vicente|arXiv (Cornell University)|2021. 05. 29.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 4

한 줄 요약

이 논문은 클러스터링 비용과 인구 통계적 공정성을 균형 잡는 데 전용된 확률적 번갈아 가며 균형 잡힌 $k$-means(SAfairKM) 알고리즘을 제안한다. 이 알고리즘은 클러스터링 비용을 최소화하기 위한 미니배치 $k$-means 업데이트와 클러스터 간 인구 집단 간 균형을 개선하기 위한 그룹 스왑 업데이트를 번갈아 적용한다. 이 방법은 합성 및 실재 데이터셋에서 높은 품질의 잘 퍼진 파레토 프론트를 효율적으로 생성하며, 페널티 기반 공정성 접근법에 비해 계산 효율성과 강건성 면에서 뛰어나다.

ABSTRACT

In the application of data clustering to human-centric decision-making systems, such as loan applications and advertisement recommendations, the clustering outcome might discriminate against people across different demographic groups, leading to unfairness. A natural conflict occurs between the cost of clustering (in terms of distance to cluster centers) and the balance representation of all demographic groups across the clusters, leading to a bi-objective optimization problem that is nonconvex and nonsmooth. To determine the complete trade-off between these two competing goals, we design a novel stochastic alternating balance fair $k$-means (SAfairKM) algorithm, which consists of alternating classical mini-batch $k$-means updates and group swap updates. The number of $k$-means updates and the number of swap updates essentially parameterize the weight put on optimizing each objective function. Our numerical experiments show that the proposed SAfairKM algorithm is robust and computationally efficient in constructing well-spread and high-quality Pareto fronts both on synthetic and real datasets.

연구 동기 및 목표

• 클러스터링 비용을 최소화하는 것과 클러스터 내 인구 집단의 균형 잡힌 표현을 확보하는 것 사이의 본질적 갈등을 해결하기 위해.
• 공정 클러스터링에서 잘 퍼지고 고품질의 파레토 프론트를 생성하기 위한 강건하고 계산 효율적인 방법을 개발하기 위해.
• 페널티 계수에 의존하지 않고 클러스터링 품질과 공정성 사이의 트레이드오프를 허용하는 유연한 인-프로세싱 프레임워크를 제공하기 위해.
• 기존의 페널티 기반 공정성 접근법을 개선하기 위해, 공정성을 유지하면서 클러스터링 비용을 최적화하는 번갈아 가며 업데이트를 사용하기 위해.
• Adult 및 Bank과 같은 실세계 데이터셋에서 다수의 인구 집단을 포함한 확장 가능한 공정 클러스터링을 가능하게 하기 위해.

제안 방법

• 알고리즘은 클러스터링 비용을 최소화하기 위한 고전적 미니배치 $k$-means 업데이트와 클러스터 간 인구 집단 균형을 향상시키기 위한 그룹 스왑 업데이트를 번갈아 적용한다.
• $k$-means 업데이트와 스왑 업데이트의 횟수는 클러스터링 비용과 공정성 사이의 트레이드오프를 제어하는 데 사용되는 제어 파라미터이다.
• 다양한 초기화 및 업데이트 쌍에서 수행된 병렬 실행을 연결하는 리스트 업데이트 메커니즘이 지역 최적값에서의 탈출과 강건성 향상을 도모한다.
• 이 방법은 명시적으로 클러스터링 비용과 인구 통계적 표현을 균형 잡는 이목적 최적화 프레임워크로 설계되어 있다.
• 기존 방법이 KL-발산 페널티를 사용하는 것과는 달리, 이 알고리즘은 구조적 스왑 연산을 직접 적용함으로써 페널티 계수의 사용을 피한다.
• 이 알고리즘은 Adult 및 Bank와 같은 합성 및 실세계 데이터셋에 적용되었으며, 클러스터 수와 인구 집단 비율이 다양한 조건에서 검증되었다.

실험 결과

연구 질문

• RQ1 클러스터링 알고리즘이 클러스터링 비용을 최소화하고 동시에 인구 집단의 공정한 표현을 확보하는 데 어떤 방식으로 균형을 이룰 수 있는가?
• RQ2 미니배치 $k$-means와 그룹 스왑 간의 번갈아 가며 업데이트가 페널티 기반 방법에 비해 더 높은 품질과 더 잘 퍼진 파레토 프론트를 생성할 수 있는가?
• RQ3 다양한 데이터 분포와 인구 집단 불균형 조건 하에서 이 알고리즘의 계산 효율성과 강건성은 어떻게 평가되는가?
• RQ4 클러스터링 비용과 공정성 사이의 트레이드오프를 조정하기 위해 $k$-means와 스왑 업데이트의 횟수를 변화시켰을 때 파레토 프론트의 품질과 분포에 어떤 영향을 미치는가?
• RQ5 이 방법은 다수의 보호 대상 속성과 복잡한 인구 집단 분포를 포함한 실세계 데이터셋에 효과적으로 확장될 수 있는가?

주요 결과

• 모든 네 개인 합성 데이터셋에서, 인구 집단 불균형 여부와 관계없이 SAfairKM는 페널티 기반 VfairKM에 비해 더 넓게 퍼지고 고품질의 파레토 프론트를 생성했다.
• 비결정적 해당 평균 CPU 시간은 Syn_equal_ds1에서 SAfairKM가 0.80초로 VfairKM의 1.06초보다 유의미하게 낮았으며, Bank(K=10)에서는 SAfairKM가 59.12초로 VfairKM의 76.29초보다 낮았다.
• K=10인 Adult 데이터셋에서 SAfairKM는 평균 솔루션당 18.52초의 CPU 시간을 기록했고, VfairKM는 40.43초로 더 높아 계산 효율성이 뛰어나다는 것을 입증했다.
• 리스트 업데이트 메커니즘이 복수의 실행을 연결함으로써 초기화에 대한 민감도를 감소시키고 고품질 솔루션으로의 수렴을 향상시켜 강건성을 향상시켰다.
• K=5인 Bank 데이터셋에서 SAfairKM는 솔루션당 11.97초의 CPU 시간을 소요했고, VfairKM는 50.31초로, 더 큰 데이터셋에서의 확장성 우수성을 입증했다.
• |V₁|:|V₂|=1:3와 같은 비균형 인구 집단 크기 조건에서도 강력한 성능 유지를 보여, 인구 집단 불균형 상황에서도 강건함을 확인했다.