[논문 리뷰] Fairness in Visual Clustering: A Novel Transformer Clustering Approach

Xuan-Bac Nguyen, Chi Nhan Duong외 4명|arXiv (Cornell University)|2023. 04. 14.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 보호되는 특성 레이블이 없는 상황에서도 시각적 클러스터링의 공정성을 향상시키기 위해 공정성 인지 손실과 크로스 어텐션 메커니즘을 도입한 새로운 트랜스포머 기반 클러스터링 프레임워크를 제안한다. 이는 민족, 연령, 성별, 인종에 걸쳐 93.28%의 F_P와 2.47%의 표준편차를 기록하며 BUPT-BalancedFace에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Promoting fairness for deep clustering models in unsupervised clustering settings to reduce demographic bias is a challenging goal. This is because of the limitation of large-scale balanced data with well-annotated labels for sensitive or protected attributes. In this paper, we first evaluate demographic bias in deep clustering models from the perspective of cluster purity, which is measured by the ratio of positive samples within a cluster to their correlation degree. This measurement is adopted as an indication of demographic bias. Then, a novel loss function is introduced to encourage a purity consistency for all clusters to maintain the fairness aspect of the learned clustering model. Moreover, we present a novel attention mechanism, Cross-attention, to measure correlations between multiple clusters, strengthening faraway positive samples and improving the purity of clusters during the learning process. Experimental results on a large-scale dataset with numerous attribute settings have demonstrated the effectiveness of the proposed approach on both clustering accuracy and fairness enhancement on several sensitive attributes.

연구 동기 및 목표

• 보호되는 특성 레이블이 없거나 확보하기 어려운 상황에서 비지도 시각적 클러스터링의 인구통계적 편향을 해결하기 위해.
• 클러스터 순수도 — 각 클러스터 내에서 양성 샘플과 그 상관관계의 비율 — 를 통해 클러스터링의 공정성을 정의하고 측정하기 위해.
• 다른 인구통계적 집단의 클러스터 간 순수도 일관성을 강제하는 새로운 손실 함수를 개발하기 위해.
• 멀리 떨어진 양성 샘플과 클러스터 중심점 간의 관계를 강화하여 클러스터 품질을 향상시키기 위해 크로스 어텐션 메커니즘을 설계하기 위해.
• 민족, 연령, 성별, 인종과 같은 다수의 민감한 특성에 대해 보호되는 특성 레이블에 의존하지 않고도 최신 기술 수준의 클러스터링 정확도와 공정성을 동시에 달성하기 위해.

제안 방법

• 클러스터 순수도를 정의하여 민족적 편향을 정량화하는 새로운 공정성 지표를 제안한다. 이는 클러스터 내에서 양성 샘플과 그 상관관계 정도의 비율로 정의된다.
• 순수도의 분산을 최소화하여 공정성을 증진시키는 공정성 정규화 손실 $\mathcal{L}^{fair}$ 를 도입한다.
• 클러스터 간 상관관계를 계산하여 먼 거리에 있는 양성 샘플과 클러스터 중심점 간의 관계를 강화하는 새로운 크로스 어텐션(C-ATT) 메커니즘을 설계한다.
• 표현 품질 향상과 클러스터의 밀도 향상을 위해 특징 최대화 손실 $\mathcal{L}^{FMI}$ 를 활용한다.
• 340만 장의 실외 이미지에서 자기지도 사전학습을 수행한 후, 공정성 제약 조건 하에 BUPT-BalancedFace에서 미세조정을 수행한다.
• 클러스터 전용 쿼리와 함께 다중 헤드 어텐션 메커니즘을 적용하여 클러스터 순수도와 상관관계에 기반해 동적으로 어텐션을 조정한다.

실험 결과

연구 질문

• RQ1 클러스터 순수도는 비지도 시각적 클러스터링에서 인구통계적 편향을 측정하는 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 보호되는 특성 레이블에 접근할 수 없는 상황에서 클러스터링에 공정성을 어떻게 도입할 수 있는가?
• RQ3 새로운 어텐션 메커니즘이 장거리 양성 상관관계를 강화함으로써 소수 집단 샘플의 표현을 향상시킬 수 있는가?
• RQ4 클러스터 간 순수도 일관성을 강제하면 정확도와 공정성을 동시에 향상시킬 수 있는가?
• RQ5 민족, 연령, 성별, 인종과 같은 다양한 민감한 특성에 대해 제안된 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법은 BUPT-BalancedFace에서 민족에 대해 93.28%의 F_P와 2.47%의 표준편차를 기록하며, 정확도와 공정성 측면에서 이전 방법들을 능가한다.
• 제거 실험 결과, C-ATT, $\mathcal{L}^{fair}$, $\mathcal{L}^{FMI}$ 를 모두 조합할 경우 기준 모델 대비 표준편차가 1.42%포인트 감소하여 최고의 성능을 달성함을 확인했다.
• 다양한 서브클러스터 설정에서도 안정적인 성능을 유지하며, F_P 점수는 k=4일 때 93.28% ± 2.47%에서 k=16일 때 92.52% ± 3.09%까지 변동함으로써 강력한 강건성을 보였다.
• 연령, 성별, 인종에 대한 민감한 특성에 대해, 제안된 방법은 기준 모델보다 항상 낮은 표준편차를 기록하여 다양한 특성에 걸쳐 뛰어난 공정성을 입증했다.
• FairFace를 사용한 특성 예측(임계값 0.9)은 고신뢰도 평가를 보장하며, 모든 민감한 특성 분할에서 일관된 최신 기술 수준의 성능을 보였다.
• 340만 장의 이미지가 포함된 BUPT-In-the-wild 데이터셋에서 98.44%의 F_P를 기록하여 강력한 일반화 능력과 확장성의 가능성을 입증했다.