[논문 리뷰] Deep Fair Discriminative Clustering

Hongjing Zhang, Ian Davidson|arXiv (Cornell University)|2021. 05. 28.

Face and Expression Recognition참고 문헌 35인용 수 4

한 줄 요약

이 논문은 그룹 수준의 공정성을 딥 클러스터링에 통합하는 새로운 프레임워크인 Deep Fair Discriminative Clustering을 제안한다. 이는 완전히 단조로운 제약 조건을 가진 정수선형계획법(ILP) 수식을 통해 효율적이고 정확한 공정한 클러스터 할당을 가능하게 하며, 이로 인해 정확한 공정한 클러스터 할당이 가능해진다. 이 방법은 이러한 공정한 할당을 디스criminative 딥 클러스터링 기반과 대비 학습과 결합하여, 실제 데이터셋에서 경쟁적인 클러스터링 성능을 달성하면서도 근사 최적의 공정성을 확보한다. 이는 다중 상태의 보호 상태 변수와 영리한 공정성 제약 조건을 포함한다.

ABSTRACT

Deep clustering has the potential to learn a strong representation and hence better clustering performance compared to traditional clustering methods such as $k$-means and spectral clustering. However, this strong representation learning ability may make the clustering unfair by discovering surrogates for protected information which we empirically show in our experiments. In this work, we study a general notion of group-level fairness for both binary and multi-state protected status variables (PSVs). We begin by formulating the group-level fairness problem as an integer linear programming formulation whose totally unimodular constraint matrix means it can be efficiently solved via linear programming. We then show how to inject this solver into a discriminative deep clustering backbone and hence propose a refinement learning algorithm to combine the clustering goal with the fairness objective to learn fair clusters adaptively. Experimental results on real-world datasets demonstrate that our model consistently outperforms state-of-the-art fair clustering algorithms. Our framework shows promising results for novel clustering tasks including flexible fairness constraints, multi-state PSVs and predictive clustering.

연구 동기 및 목표

• 보호 상태 변수(PSV)와 연관된 편향이 표현 학습 과정에서 증폭되는 딥 러닝에서의 불공정한 클러스터링 문제를 해결하기 위해.
• 이진 및 다중 상태 PSV 모두에 대해 그룹 수준의 공정성을 강제하는 확장 가능한 종단 간 딥 클러스터링 프레임워크를 개발하기 위해.
• 실제 규제 기준의 지역적 다양성을 반영할 수 있는 영리한 공정성 제약 조건을 제공하기 위해.
• 딥 표현 학습과 이산 최적화를 융합하여 컴act하고 공정하며 의미 있는 클러스터를 생성하기 위해.

제안 방법

• 완전히 단조로운 제약 행렬을 가진 정수선형계획법(ILP) 문제로 그룹 수준의 공정성을 수식화하여, 선형 프로그래밍을 통해 정확한 정수 해를 보장한다.
• ILP 솔버를 디스criminative 딥 클러스터링 기반에 통합하여 클러스터 할당을 개선하면서도 클러스터링 품질을 유지한다.
• 클러스터링 목표, 공정성 제약 조건, 자기지도 대비 학습을 동시에 최적화하는 개선 학습 알고리즘을 사용한다.
• 모든 모델을 종단 간으로 훈련하여, 공정한 할당 레이어를 통해 역전파가 가능하도록 한다.
• 다중 상태 PSV를 지원하기 위해 공정성 측정법을 차별적 영향 원칙 하에서 균형 측정법과 동일하게 일반화한다.
• 허용 오차 범위 내에서 최적의 공정성 조건을 완화함으로써 유연한 공정성 제약 조건을 구현하여, 다양한 지역의 공정성 기준에 맞는 실용적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 예측 전처리나 인스턴스 수준 제약 조건에 의존하지 않고도 딥 클러스터링을 그룹 수준에서 공정하게 만들 수 있는가?
• RQ2 다중 상태 보호 상태 변수에 대한 그룹 수준의 공정성을 종단 간 딥 러닝 프레임워크에서 어떻게 형식적으로 정의하고 최적화할 수 있는가?
• RQ3 완전히 단조로운 특성을 가진 ILP 수식이 딥 클러스터링 파이프라인에 효과적으로 통합되어 정확한 공정한 클러스터 할당을 보장할 수 있는가?
• RQ4 지역 또는 응용 분야에 따라 다를 수 있는 영리한 공정성 제약 조건 하에서 모델의 성능은 어떻게 되는가?
• RQ5 공정성 강제 조건이 클러스터링 성능에 얼마나 기여하는가? 공정성과 정확도 사이의 트레이드오프는 어떻게 관리할 수 있는가?

주요 결과

• 제안된 모델는 MNIST-USPS 테스트 세트에서 근사 최적의 공정성(균형 = 0.200)을 달성하면서도 경쟁적인 클러스터링 성능(NMI = 0.865, Acc = 0.930)을 유지한다.
• Reverse-MNIST 데이터셋에서 모델은 테스트 세트에서 균형 = 0.890을 달성하여 최적의 1.000에 가까워졌으며, 높은 클러스터링 정확도(Acc = 0.562)를 보였다.
• HAR 데이터셋에서 모델은 테스트 세트에서 균형 = 0.167을 달성하여, 고차원적이고 복잡한 패턴을 가진 실제 데이터에서도 효과적임을 입증했다.
• 공정성 제약 조건을 완화함(ε 증가)하면 기대한 바와 같이 균형이 낮아지지만, 동시에 클러스터링 정확도도 감소하여 공정성과 성능 사이의 트레이드오프가 있음을 시사한다.
• 특징 공간 시각화 결과, 공정성 제약 조건이 편향된 인스턴스(예: t-SNE에서 빨간색 및 파란색)를 더 균형 잡힌 클러스터로 성공적으로 재할당했으며, 클러스터의 밀도는 손상되지 않았다.
• 실험적 수렴 분석을 통해 학습 손실과 균형 지표가 50 에포크 이후 안정화됨을 확인하여 안정적이고 매끄러운 최적화 과정임을 입증했다.