[논문 리뷰] Fair Coresets and Streaming Algorithms for Fair k-Means Clustering

Melanie Schmidt, Chris Schwiegelshohn외 1명|arXiv (Cornell University)|2018. 12. 28.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 37

한 줄 요약

이 논문은 민감한 속성(예: 인종, 성별)이 클러스터 간에 균형 있게 분포되도록 보장하는 공정한 코어셋을 소개한다. 공정성에 특화된 구성 가능한 코어셋 정의를 제안함으로써 스트리밍 및 분산 환경에서의 효율적인 알고리즘을 가능하게 하여, 데이터 크기를 줄이고 계산을 확장 가능하게 하면서 (1+ε)-근사 공정 k-means 클러스터링을 달성한다.

ABSTRACT

We study fair clustering problems as proposed by Chierichetti et al. (NIPS 2017). Here, points have a sensitive attribute and all clusters in the solution are required to be balanced with respect to it (to counteract any form of data-inherent bias). Previous algorithms for fair clustering do not scale well. We show how to model and compute so-called coresets for fair clustering problems, which can be used to significantly reduce the input data size. We prove that the coresets are composable and show how to compute them in a streaming setting. Furthermore, we propose a variant of Lloyd's algorithm that computes fair clusterings and extend it to a fair k-means++ clustering algorithm. We implement these algorithms and provide empirical evidence that the combination of our approximation algorithms and the coreset construction yields a scalable algorithm for fair k-means clustering.

연구 동기 및 목표

• 대규모 데이터셋에서 성능이 떨어지고 무작위 액세스가 불가능한 공정 클러스터링 알고리즘의 확장성 문제를 해결한다.
• 민감한 속성이 있는 클러스터링에서 공정성과 구성 가능성(Composability)을 보장하는 새로운 코어셋 정의를 체계화한다.
• 제안된 공정 코어셋을 기반으로 스트리밍 및 분산 환경을 위한 공정 k-means 클러스터링 알고리즘을 설계한다.
• Lloyd 알고리즘과 k-means++를 수정하여 공정성을 유지하면서도 근사 품질을 손상시키지 않도록 한다.
• 실험적으로 공정 코어셋과 근사 알고리즘을 조합하면 대규모 공정 k-means 클러스터링에 실용적이고 확장 가능한 솔루션이 된다는 것을 입증한다.

제안 방법

• ℓ 색상 클래스로 일반화 가능한 공정성 인식 코어셋 정의를 제안하여, min(r_C/b_C, b_C/r_C) ≥ 1/2 조건을 통해 클러스터 균형을 보장한다.
• 제안된 공정 코어셋이 구성 가능하다는 것을 증명함으로써 스트리밍 및 분산 환경으로의 응용 가능성을 확보한다.
• 샘플링 및 투영 기법을 사용하여, 상수 차원 d에 대해 크기가 O(ℓk log n / ε^{d-1})인 코어셋을 구성한다.
• 이동 기반 코어셋 구성과 무작위 스케치(Rademacher 행렬)를 통합하여 차원을 축소하고 클러스터링 비용 근사도를 유지한다.
• 코어셋에 대해 γ-근사 알고리즘을 적용하여 공정한 클러스터 중심을 계산한 후, 가중 선형 합을 사용해 원래 공간으로 매핑한다.
• 투영-비용 유지 스케치를 활용하여 코어셋의 클러스터링 비용이 원본 데이터의 비용과 (1±ε) 범위 내에서 근사되도록 보장한다.

실험 결과

연구 질문

• RQ1 공정성과 근사 보장을 모두 유지하는 공정 k-means 클러스터링을 위한 코어셋을 설계할 수 있는가?
• RQ2 데이터 파artitions 간에 구성 가능한 코어셋을 구축할 수 있는가? 이를 통해 스트리밍 및 분산 환경에 적용할 수 있는가?
• RQ3 제한된 무작위 액세스 조건에서 스트리밍 환경에서 효율적인 공정 클러스터링을 수행할 수 있는가?
• RQ4 Lloyd 및 k-means++와 같은 기존 k-means 알고리즘을 공정성을 유지하면서도 근사 품질을 손상시키지 않고 수정할 수 있는가?
• RQ5 공정 코어셋의 크기, 공정성, 근사 오차 간의 상호 상관 관계는 어떠한가?

주요 결과

• 제안된 공정 코어셋 정의는 구성 가능성을 보장하며 ℓ 색상 클래스의 클러스터링을 지원하여 분산 및 스트리밍 환경에서 확장 가능한 공정 클러스터링을 가능하게 한다.
• 상수 차원 d에 대해 코어셋 크기는 O(ℓk log n / ε^{d-1})이며, 입력 크기 n에 독립적으로 유지되며 효율적으로 확장된다.
• 스트리밍 알고리즘은 스케칭 후 오직 O(k/ε²) 차원만을 사용하여 공정 k-means 비용에 대해 (1+ε)-근사도를 달성하여 공간 및 시간 복잡도를 크게 감소시킨다.
• 공정 k-means++ 및 수정된 Lloyd 알고리즘 버전은 제안된 코어셋 프레임워크 하에서 공정성을 유지하면서도 상수 요소 근사 보장을 달성한다.
• 실험적 평가를 통해 공정 코어셋과 근사 알고리즘의 조합이 대규모 공정 k-means 클러스터링에 대해 확장 가능한 솔루션임을 확인하였다.
• 이론적 분석을 통해 코어셋이 클러스터링 비용을 (1±ε) 범위 내에서 유지하며, 최종 클러스터링 솔루션은 최적의 공정 솔루션에 대해 (1+ε)-근사도를 달성함을 입증하였다.