[논문 리뷰] Distributional Individual Fairness in Clustering

Nihesh Anderson, Suman K. Bera외 2명|arXiv (Cornell University)|2020. 06. 22.

Ethics and Social Impacts of AI참고 문헌 45인용 수 10

한 줄 요약

이 논문은 군집화에서 분포 기반 개인 공정성(distributional individual fairness)을 도입하여, 유사한 개인이 유사하게 대우되도록 보장하는 프레임워크를 제안한다. 통계적 유사성 측정을 위해 f-divergence를 사용함으로써, ℓp-노름 군집화 목표 함수에 대해 증명 가능한 근사 보장을 제공하면서도 개인 공정성 제약 조건을 만족하며, 실험적으로는 기존 방법에 비해 공정성 면에서 뛰어나면서도 군집화 품질을 희생시키지 않는 것으로 나타났다.

ABSTRACT

In this paper, we initiate the study of fair clustering that ensures distributional similarity among similar individuals. In response to improving fairness in machine learning, recent papers have investigated fairness in clustering algorithms and have focused on the paradigm of statistical parity/group fairness. These efforts attempt to minimize bias against some protected groups in the population. However, to the best of our knowledge, the alternative viewpoint of individual fairness, introduced by Dwork et al. (ITCS 2012) in the context of classification, has not been considered for clustering so far. Similar to Dwork et al., we adopt the individual fairness notion which mandates that similar individuals should be treated similarly for clustering problems. We use the notion of $f$-divergence as a measure of statistical similarity that significantly generalizes the ones used by Dwork et al. We introduce a framework for assigning individuals, embedded in a metric space, to probability distributions over a bounded number of cluster centers. The objective is to ensure (a) low cost of clustering in expectation and (b) individuals that are close to each other in a given fairness space are mapped to statistically similar distributions. We provide an algorithm for clustering with $p$-norm objective ($k$-center, $k$-means are special cases) and individual fairness constraints with provable approximation guarantee. We extend this framework to include both group fairness and individual fairness inside the protected groups. Finally, we observe conditions under which individual fairness implies group fairness. We present extensive experimental evidence that justifies the effectiveness of our approach.

연구 동기 및 목표

• 군집화에서 개인 공정성의 부재, 특히 그룹 공정성이 여전히 유사한 개인에게 해를 끼칠 수 있는 문제를 다루기 위해.
• 유사한 점들이 통계적으로 유사한 군집 할당을 받도록 보장하는 분포 기반 할당 모델을 사용하여 군집화에서 개인 공정성을 체계화하기 위해.
• 개인 공정성과 그룹 공정성을 모두 통합하는 프레임워크를 제공하고, 개인 공정성이 그룹 공정성을 암시하는 조건을 밝혀내기 위해.
• 개인 공정성 제약 조건 하에서 ℓp-노름 군집화 목표 함수에 대해 증명 가능한 근사 보장을 갖는 알고리즘을 설계하기 위해.
• 제안된 방법이 낮은 군집화 비용을 유지하면서도 강력한 개인 공정성을 달성하고, 기준 probabilistic clustering 방법들보다 뛰어나다는 것을 경험적으로 검증하기 위해.

제안 방법

• 각 점을 k개의 군집 중심에 대한 확률 분포로 모델링하여, 유사한 점들(공정성 유사성 측정 𝒮 기반)이 통계적으로 유사한 분포를 받도록 보장한다.
• 분포 간 통계적 거리 측정으로 f-divergence를 사용하여 공정성을 정량화함으로써, 이전의 총변동 및 ℓ∞-기반 메트릭과 같은 접근 방식을 일반화한다.
• 선형계획법을 통해 기대 군집화 비용을 최소화하면서도, 임의의 두 점의 분포 간 f-divergence가 그들의 공정성 유사성 측정값 이내로 제한되도록 강제한다.
• 보호 그룹 내에서 그룹 공정성을 포함하도록 프레임워크를 확장하여, 균형 잡힌 표현을 유지하면서도 개인 공정성을 유지한다.
• k-means, k-center 및 기타 ℓp-노름 군집 문제에 이 방법을 적용하고, 근사 비율에 대한 이론적 보장을 제공한다.
• 실험적으로는 소프트 k-means 및 기타 기준 방법들과 비교하여, 다양한 파라미터에서 공정성 위반과 군집화 비용을 측정한다.

실험 결과

연구 질문

• RQ1 개인 공정성, 즉 유사한 개인이 동일하게 대우되는 것으로 정의될 때, 이를 군집화 문제에 의미 있게 확장할 수 있는가?
• RQ2 f-divergence는 군집 할당 분포 간 통계적 유사성 측정으로서 일반적이고 융통성 있게 사용될 수 있으며, 개인 공정성을 강제하는 데 어떻게 활용될 수 있는가?
• RQ3 군집화 비용과 개인 공정성 사이의 트레이드오프는 무엇이며, 이를 증명 가능한 보장 하에 최적화할 수 있는가?
• RQ4 군집화에서 개인 공정성이 그룹 공정성을 암시하는 조건은 무엇인가?
• RQ5 기존의 확률적 군집화 방법들과 비교할 때, 제안된 방법은 공정성과 군집화 품질 측면에서 어떻게 다른가?

주요 결과

• 제안된 알고리즘 ALG-IF는 개인 공정성 제약 조건을 위반하지 않지만, 동일한 군집화 비용에서 소프트 k-means(SKM)는 제약 조건의 최대 99%를 위반한다.
• k=8일 때, SKM는 ALG-IF와 동일한 군집화 비용을 유지하면서도 𝒮₁ 기준으로 85%의 개인 공정성 제약 조건을 위반하여 심각한 부당함을 드러낸다.
• 이 방법은 최적의 공정한 해에 대해 일정 요인 내의 군집화 비용을 달성하며, ℓp-노름 목표 함수에 대해 이론적 근사 보장을 제공한다.
• 그룹 표현의 통계적 편향은 그룹 분포와 전체 인구 분포 간의 지구이동 거리로 상한이 제시되며, 경험적으로는 좁은 갭을 보인다.
• 약 1,000만 개의 변수와 제약 조건을 포함하는 선형계획법을 CPLEX를 사용해 해결하는 데 소요 시간이 9시간 이내였으며, 실용적 타당성을 입증한다.
• 이 프레임워크는 개인 공정성과 그룹 공정성을 성공적으로 통합하였으며, 𝒮₁ 유사성 측정 기준으로 개인 공정성이 그룹 공정성을 암시한다.