[논문 리뷰] Scalable Spectral Clustering with Group Fairness Constraints

Ji Wang, Ding Lu외 2명|arXiv (Cornell University)|2022. 10. 28.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 밀도 행렬 연산을 희소 행렬-벡터 곱으로 대체함으로써 고비용의 밀집 행렬 연산을 제거하고 nullspace 투영과 Hotelling의 정규화를 통합함으로써 그룹 형평성을 강제하는 확장 가능한 스펙트럴 클러스터링 알고리즘인 s-FairSC를 제안한다. 이 방법은 중간 크기의 데이터셋에서 FairSC 대비 12배 빠른 성능을 달성하면서도 형평성과 확장성은 유사하게 유지하며, 표준 스펙트럴 클러스터링과 비교해 극히 미미한 계산 오버헤드만을 유발한다.

ABSTRACT

There are synergies of research interests and industrial efforts in modeling fairness and correcting algorithmic bias in machine learning. In this paper, we present a scalable algorithm for spectral clustering (SC) with group fairness constraints. Group fairness is also known as statistical parity where in each cluster, each protected group is represented with the same proportion as in the entirety. While FairSC algorithm (Kleindessner et al., 2019) is able to find the fairer clustering, it is compromised by high costs due to the kernels of computing nullspaces and the square roots of dense matrices explicitly. We present a new formulation of underlying spectral computation by incorporating nullspace projection and Hotelling's deflation such that the resulting algorithm, called s-FairSC, only involves the sparse matrix-vector products and is able to fully exploit the sparsity of the fair SC model. The experimental results on the modified stochastic block model demonstrate that s-FairSC is comparable with FairSC in recovering fair clustering. Meanwhile, it is sped up by a factor of 12 for moderate model sizes. s-FairSC is further demonstrated to be scalable in the sense that the computational costs of s-FairSC only increase marginally compared to the SC without fairness constraints.

연구 동기 및 목표

• FairSC가 밀집 행렬 제곱근과 nullspace 계산에 의존함에 따라 발생하는 높은 계산 비용을 해결하기 위해.
• 스펙트럴 클러스터링에서 그룹 형평성을 유지하면서도 확장 가능한 FairSC의 대안을 개발하기 위해.
• 형평성 스펙트럴 클러스터링 모델의 희소성 특성을 활용하여 계산 복잡도를 감소시키기 위해.
• 새로운 알고리즘이 데이터셋 크기에 따라 효율적으로 확장되어 표준 스펙트럴 클러스터링의 성능에 가까워지도록 보장하기 위해.

제안 방법

• 형평성 제약 조건을 강제하기 위해 FairSC의 스펙트럴 계산을 nullspace 투영을 사용해 재구성한다.
• 명시적인 행렬 분해 없이도 반복적으로 고유벡터를 추출하기 위해 Hotelling의 정규화를 적용한다.
• 데이터의 희소성 특성을 활용하기 위해 밀집 행렬 연산을 희소 행렬-벡터 곱으로 대체한다.
• 수정된 라플라시안 행렬을 통한 형평성 제약 조건 통합을 통해 스펙트럴 클러스터링 목표 함수에 형평성을 통합한다.
• 희소 행렬에서 효율적으로 작동하는 반복적 해법(예: 힘의 방법)을 사용한다.
• 각 클러스터 내에서 그룹 비율의 비례성을 유지함으로써 알고리즘이 형평성을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 그룹 형평성을 고려한 스펙트럴 클러스터링은 형평성 품질을 희생시키지 않고도 계산적으로 확장 가능한가?
• RQ2 표준 스펙트럴 클러스터링과 비교해, 형평성 스펙트럴 클러스터링의 계산 비용은 데이터셋 크기에 따라 어떻게 변화하는가?
• RQ3 형평성 스펙트럴 클러스터링에서 밀집 행렬 연산을 희소 행렬 연산으로 대체할 수 있는가, 이때 형평성이 유지되는가?
• RQ4 새로운 방법은 FairSC 대비 속도와 확장성 측면에서 어떤 성능 향상을 보이는가?
• RQ5 제안된 방법은 합성 및 실세계 네트워크에서 FairSC와 유사한 수준의 형평성을 유지하는가?

주요 결과

• 중간 크기의 데이터셋에서 s-FairSC는 수정된 스토하스틱 블록 모델에서 FairSC 대비 12배 빠른 성능을 달성한다.
• LastFMNet 데이터셋에서 k ≥ 5일 경우 s-FairSC는 FairSC보다 7배 더 빠르며, 표준 SC와 동일한 속도로 실행된다.
• 균형 지표의 평균값을 통해 s-FairSC는 FairSC와 거의 동일한 클러스터링 형평성 수준을 생성함을 확인하여 형평성 유지가 확인되었다.
• s-FairSC는 표준 스펙트럴 클러스터링과 비교해 극히 미미한 계산 오버헤드만을 유발하여 강력한 확장성 잠재력을 보여준다.
• 랜덤 라플라시안 모델에서 s-FairSC는 노드 수 5,000에서 10,000까지 다양한 k와 h 값에서도 확장성을 유지한다.
• 알고리즘은 희소성 특성을 효과적으로 활용하여 대규모 형평성 클러스터링 응용에 적합하다.