[논문 리뷰] Clustering with Fairness Constraints: A Flexible and Scalable Approach

Imtiaz Masud Ziko, Éric Granger외 2명|arXiv (Cornell University)|2019. 06. 19.

Health disparities and outcomes참고 문헌 20인용 수 10

한 줄 요약

이 논문은 K-means, K-median, 및 정규화 컷과 같은 다양한 클러스터링 목표 함수에 대해, KL 기반의 정의 평준화 페널티에 대한 날카운 상한을 통해 임의의 인구통계적 비율 제약 조건을 통합함으로써, 영향력 있고 확장 가능한 변분 프레임워크를 제안한다. 이 방법은 수렴 보장을 갖는 동시 최적화와 독립적인 할당 업데이트를 가능하게 하여 분산 계산을 지원하고, 정의성과 클러스터링 품질 사이의 효율적인 트레이드오프 제어를 가능하게 한다.

ABSTRACT

This study investigates a general variational formulation of fair clustering, which can integrate fairness constraints with a large class of clustering objectives. Unlike the existing methods, our formulation can impose any desired (target) demographic proportions within each cluster. Furthermore, it enables to control the trade-off between the fairness and clustering terms. We derive an auxiliary function (tight upper bound) of our KL-based fairness penalty via its concave-convex decomposition and Lipschitz-gradient property. Our upper bound can be optimized jointly with various clustering objectives, including prototype-based, such as K-means and K-median, or graph-based such as Normalized Cut. Interestingly, at each iteration, our general fair-clustering algorithm performs an independent update for each assignment variable, while guaranteeing convergence. Therefore, it can be easily distributed for large-scale data sets. Such scalability is important as it enables to explore different trade-off levels between the fairness and clustering objectives. Unlike fairness-constrained spectral clustering, our formulation does not need storing an affinity matrix and computing its eigenvalue decomposition. We show the effectiveness, flexibility and scalability of our approach through comprehensive evaluations and comparisons to the existing methods over several data sets.

연구 동기 및 목표

• 기존의 정의성 클러스터링 방법이 클러스터 내에서 임의의 목표 인구통계적 비율을 영향력 있게 강제할 수 없는 한계를 해결하기 위해.
• 프로토타입 기반 및 그래프 기반 방법을 포함한 광범위한 클러스터링 목표 함수와 정의성 제약 조건을 통합하는 통합 프레임워크를 개발하기 위해.
• 정의성 페널티에 대한 날카운 상한을 통해 스케일러블 최적화를 가능하게 하여 대규모 데이터셋에서 분산 및 효율적인 계산을 가능하게 하기 위해.
• 스펙트럴 클러스터링 기반의 정의성 방법에서 흔히 발생하는 유사도 행렬의 고유값 분해 계산과 같은 계산 비용이 큰 단계가 필요 없도록 하기 위해.
• 정의성과 클러스터링 품질 사이의 민감한 트레이드오프 메커니즘을 제공하여 다양한 정의성 수준을 탐색할 수 있도록 하기 위해.

제안 방법

• 각 클러스터당 원하는 인구통계적 비율을 강제하기 위해 클러스터링 손실과 KL 기반의 정의성 페널티를 조합한 일반적인 변분 목표 함수를 수립한다.
• KL 발산의 리프시츠-기울기 성질을 활용한 볼록-볼록 분해를 통해 정의성 페널티에 대한 날카운 상한을 유도한다.
• K-means, K-median, 및 정규화 컷과 같은 다양한 클러스터링 목표 함수와 함께 상한을 동시에 최적화하기 위해 통합된 알고리즘 프레임워크를 활용한다.
• 각 클러스터 할당 변수가 반복마다 독립적으로 업데이트되는 반복 최적화 전략을 채택하여 수렴성을 보장하고 병렬 처리를 가능하게 한다.
• 기존의 정의성 제약이 있는 스펙트럴 클러스터링 방법과 달리, 큰 유사도 행렬의 고유값 분해를 저장하거나 계산하지 않는다.
• 목표 함수의 두 항을 균형 잡는 하이퍼파rameter를 통해 정의성과 클러스터링 성능 사이의 민감한 트레이드오프 제어를 지원한다.

실험 결과

연구 질문

• RQ1 다양한 클러스터링 목표 함수에 걸쳐 각 클러스터 내에서 임의의 목표 인구통계적 비율을 통합할 수 있는 통합 프레임워크가 가능한가?
• RQ2 정의성 제약 조건을 어떻게 클러스터링 목표 함수와 통합할 수 있으며, 이때 계산의 확장성과 수렴성을 유지할 수 있는가?
• RQ3 제안된 방법이 정의성, 클러스터링 품질, 효율성 측면에서 기존의 정의성 클러스터링 접근법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 스펙트럴 클러스터링에서 흔한 고유값 분해의 계산 블로킹 문제를 피하면서도 정의성 보장을 유지할 수 있는가?
• RQ5 다양한 데이터 분포와 정의성 수준에서, 정의성과 클러스터링 성능 간의 균형을 얼마나 효과적으로 달성할 수 있는가?

주요 결과

• 기존 방법이 고정되거나 이진 제약 조건만 허용하는 것과 달리, 제안된 방법은 각 클러스터당 임의의 목표 인구통계적 비율을 허용함으로써 뛰어난 정의성 강제 성능을 달성한다.
• 유도된 정의성 페널티 상한 덕분에 K-means, K-median, 및 정규화 컷과 같은 다양한 클러스터링 목표 함수와 함께 수렴 보장이 있는 동시 최적화가 가능하다.
• 알고리즘의 독립적 할당 업데이트는 대규모 데이터셋에서의 효율적인 분산 구현을 가능하게 하여 확장성에 크게 기여한다.
• 유사도 행렬의 저장 및 고유값 분해가 필요 없어지면서, 정의성 제약이 있는 스펙트럴 클러스터링 대비 계산 오버헤드를 줄였다.
• 포괄적인 평가 결과는 본 방법의 효과성, 유연성, 확장성을 여러 데이터셋에서 입증하였으며, 정의성과 클러스터링 품질의 트레이드오프 측면에서 기존 방법을 능가함을 보여준다.
• 단일 하이퍼파rameter를 조절하여 정의성-클러스터링 트레이드오프를 체계적으로 탐색할 수 있어 실세계 응용에서 실용적인 유용성을 제공한다.