[논문 리뷰] Conditional Contrastive Learning for Improving Fairness in Self-Supervised Learning

Martin Q. Ma, Yao-Hung Hubert Tsai외 5명|arXiv (Cornell University)|2021. 06. 05.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 성별이나 인종과 같은 민감한 특성에 따라 양성 및 음성 쌍 샘플링을 조건화하는 조건부 대비 학습(CCL)을 제안한다. CCL은 데이터 증강과 대비 학습을 모두 그룹 내에서 수행함으로써 학습된 표현에서의 편향을 줄이고, 7개의 데이터셋에서 최신 기준 성능을 유지하면서 18개 지표 중 11개에서 뛰어난 공정성 성능을 달성한다.

ABSTRACT

Contrastive self-supervised learning (SSL) learns an embedding space that maps similar data pairs closer and dissimilar data pairs farther apart. Despite its success, one issue has been overlooked: the fairness aspect of representations learned using contrastive SSL. Without mitigation, contrastive SSL techniques can incorporate sensitive information such as gender or race and cause potentially unfair predictions on downstream tasks. In this paper, we propose a Conditional Contrastive Learning (CCL) approach to improve the fairness of contrastive SSL methods. Our approach samples positive and negative pairs from distributions conditioning on the sensitive attribute, or empirically speaking, sampling positive and negative pairs from the same gender or the same race. We show that our approach provably maximizes the conditional mutual information between the learned representations of the positive pairs, and reduces the effect of the sensitive attribute by taking it as the conditional variable. On seven fairness and vision datasets, we empirically demonstrate that the proposed approach achieves state-of-the-art downstream performances compared to unsupervised baselines and significantly improves the fairness of contrastive SSL models on multiple fairness metrics.

연구 동기 및 목표

• 성별이나 인종과 같은 민감한 특성에서 기인한 편향을 모델이 의도치 않게 학습하고 확산할 수 있는 대비 자율학습(SSL)에서의 공정성 문제에 대응하기 위해.
• 사전 훈련 중 민감한 특성의 영향을 완화하면서도 다운스트림 작업을 위한 고품질 표현을 유지하는 방법을 개발하기 위해.
• 자율학습 모델에서 인구통합, 동일한 기회, 동등한 기회 등의 공정성 지표를 향상시키기 위해.
• 민감한 특성을 기반으로 대비 학습을 조건화하면 다운스트림 작업에 효과적이면서도 공정한 표현을 얻을 수 있는지 입증하기 위해.
• 기존의 대비 자율학습 프레임워크에 쉽게 통합할 수 있는 간단하고 플러그인 호환 솔루션을 제공하기 위해.

제안 방법

• CCL은 양성 및 음성 쌍의 샘플링을 민감한 특성 Z에 따라 조건화하여, 양성 및 음성 쌍이 모두 동일한 그룹(예: 동일한 성별 또는 인종)에서 유래하도록 보장한다.
• 이 방법은 각 민감한 특성 그룹 내에서 데이터 증강과 대비 학습을 수행함으로써, 모델이 민감한 특성을 양성과 음성 쌍을 구분하는 대체 수단으로 사용하는 것을 어렵게 한다.
• CCL은 조건부 상호정보량 I(X;Y|Z)의 하한을 최대화하며, 이는 민감 변수 Z의 정보를 명시적으로 배제함으로써 그 영향을 학습된 표현에서 줄이는 데 기여한다.
• 이 방법은 민감한 특성에 따라 데이터를 그룹화하고 각 그룹 내에서 대비 학습을 수행함으로써 구현되며, SimCLR와 같은 기존의 SSL 프레임워크에 쉽게 통합할 수 있다.
• 더 나은 공정성 성능을 위해 더 강한 하한을 최적화하는 더 엄격한 변형인 Tight-CCL도 제안된다.
• 표준 공정성 지표와 다운스트림 정확도를 사용해 여러 비전 및 테이블 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 대비 자율학습에서 성별이나 인종과 같은 민감한 특성에서 유래한 편향을 모델이 의도하지 않게 학습하고 확산시킬 수 있는가?
• RQ2 다운스트림 성능을 훼손시키지 않고 민감한 특성의 영향을 자율학습 표현에서 줄일 수 있는가?
• RQ3 민감한 특성에 따라 대비 학습을 조건화하면 다운스트림 작업에 효과적이면서도 공정한 표현을 얻을 수 있는가?
• RQ4 기존의 공정성 인식 자율학습 방법과 비교할 때 CCL의 공정성과 정확도는 어떠한가?
• RQ5 민감한 특성에 따라 그룹화하는 간단하고 모odu러한 수정이 성능을 유지하면서 최신 기준의 공정성을 달성할 수 있는가?

주요 결과

• CCL은 다섯 개인 공정성 및 두 개의 비전 데이터셋에서 18개 공정성 지표 중 11개에서 모든 베이스라인을 앞서며 공정성 향상이 뚜렷하게 나타났다.
• CelebA 데이터셋에서 얼굴의 매력도 예측 작업에서 CCL은 민감한 특성에 따른 인구통합 차이(ΔDP)를 0.202 ± 0.03으로 기록했으며, SimCLR의 0.277 ± 0.04보다 훨씬 낮아 편향 감소를 확인했다.
• UTKFace 데이터셋에서 성별 예측 작업에서 CCL은 동등한 기회 차이(ΔEO)를 0.156 ± 0.02로 줄였고, SimCLR의 0.421 ± 0.04보다 유의미한 공정성 향상을 보였다.
• 비전 데이터셋의 네 가지 작업에서 CCL은 모든 경우에서 다운스트림 정확도를 유지하거나 향상시켰으며, CelebA에서 얼굴의 매력도 예측 작업에서 최고의 정확도 82.1 ± 0.24%를 달성했다.
• 더 엄격한 변형인 Tight-CCL은 일부 지표에서 약간 더 뛰어난 공정성을 보였으며, 예를 들어 CelebA에서 ΔDP = 0.198 ± 0.03을 기록하여 조건부 상호정보량의 더 엄격한 하한이 편향 감소에 기여함을 시사했다.
• 탭류 데이터셋의 경우 단일 GPU에서 100 에포크 훈련이 1시간 미만으로 수행되었고, 비전 데이터셋은 20~24시간이 소요되어 효율적인 훈련을 가능하게 했다.