[논문 리뷰] Contrastive Examples for Addressing the Tyranny of the Majority

Viktoriia Sharmanska, Lisa Anne Hendricks외 2명|arXiv (Cornell University)|2020. 04. 14.

Terrorism, Counterterrorism, and Political Violence참고 문헌 50인용 수 10

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)를 사용하여 보호된 특성(예: 성별, 피부 색소)을 간섭시킨 대조 예시—합성 데이터 포인트—를 생성하는 새로운 탈편향 프레임워크를 제안한다. 이는 훈련 데이터의 균형을 맞추기 위한 것이다. 실제 예시와 대조 예시를 모두 사용해 모델을 훈련시음으로써, 표본 데이터(Adult Income)와 이미지 데이터셋(CelebA, DiF)에서 공정성과 정확도를 향상시키며, 공정성 격차를 줄이고 모델의 해석 가능성과 강건성을 향상시킨다.

ABSTRACT

Computer vision algorithms, e.g. for face recognition, favour groups of individuals that are better represented in the training data. This happens because of the generalization that classifiers have to make. It is simpler to fit the majority groups as this fit is more important to overall error. We propose to create a balanced training dataset, consisting of the original dataset plus new data points in which the group memberships are intervened, minorities become majorities and vice versa. We show that current generative adversarial networks are a powerful tool for learning these data points, called contrastive examples. We experiment with the equalized odds bias measure on tabular data as well as image data (CelebA and Diversity in Faces datasets). Contrastive examples allow us to expose correlations between group membership and other seemingly neutral features. Whenever a causal graph is available, we can put those contrastive examples in the perspective of counterfactuals.

연구 동기 및 목표

• 데이터 불균형으로 인해 소수 집단의 모델 성능이 편향되는 '다数의 폭력' 문제를 해결하기 위해.
• 인과적 가정이나 구조 방정식에 의존하지 않는 사전 처리 공정성 방법을 개발하여, 인과 그래프가 없는 실제 데이터에 적용 가능하도록 하기 위해.
• 보호된 특성(예: 성별, 인종)을 간섭시켜 균형 잡힌 훈련 데이터를 생성함으로써 모델의 공정성과 정확도를 향상시키기 위해.
• 의미 있는 의미적 대조 예시를 생성함으로써 공정한 모델의 해석 가능성 향상시키기 위해. 이를 통해 Grad-CAM을 통한 모델 주의력 시각화를 가능하게 하기 위함이다.
• 예측 일致성 제약을 통해 원본 예시와 대조 예시 간의 예측 일致성을 강제함으로써 거부 학습을 지원하고 모델 신뢰도를 향상시키기 위해.

제안 방법

• 훈련 데이터의 보호된 특성에 간섭을 가함으로써 대조 예시를 생성하기—예를 들어 성별이나 피부 색소를 변경하면서 다른 특성과 레이블을 유지하기.
• 사전 훈련된 GAN을 사용해 원본 입력과 의미적으로 일致하는 고해상도의 대조 예시를 합성함으로써, 이미지 및 표본 데이터 모두에 활용 가능하게 하기.
• 원본 예시와 대조 예시를 포함한 통합 데이터셋을 사용해 분류기를 훈련함으로써, 특히 소수 집단의 공정성과 일반화 능력을 향상시키기.
• 원본 및 대조 예시 간의 예측 일치를 강제하는 출력 일치 제약 조건을 적용함으로써, 예측이 다를 경우 거부 학습이 가능하게 하기.
• Grad-CAM을 활용해 모델 주의력을 시각화하고 해석함으로써, 대조 예시를 사용해 훈련된 모델이 더 많은 주의를 관련 얼굴 부위(예: 미소를 짓는 입술)에 기울이고 보호된 특성에 대한 의존도를 줄임을 입증함.

실험 결과

연구 질문

• RQ1 보호된 특성에 간섭을 가한 합성 데이터 포인트를 생성함으로써, 인과 모델이 필요 없이 기계 학습 모델의 공정성을 향상시킬 수 있는가?
• RQ2 의미를 유지하면서 군집 표현을 균형 잡는 대조 예시를 생성하기 위해 GAN을 사용하는 것이 얼마나 효과적인가?
• RQ3 실제 예시와 대조 예시를 함께 훈련함으로써, 보호된 집단 간의 공정성 격차(예: TPR, FPR, 수락률)는 어느 정도 감소하는가?
• RQ4 대조 예시가 모델의 해석 가능성 향상과 예측 시 보호된 특성에 대한 의존도 감소에 기여하는가?
• RQ5 원본 예시와 대조 예시 간의 예측 일치를 강제함으로써 모델의 신뢰도와 공정성은 어느 정도 향상되는가?

주요 결과

• CelebA 데이터셋에서 실제 예시와 대조 예시를 함께 훈련함으로써, 기준 로지스틱 회귀 모델 대비 진짜 양성률 차이(TPR Diff)가 50% 감소하였다.
• DiF 데이터셋에서 이 방법은 72.26%의 정확도와 공정성 지표 0.68(TPR Diff), 0.27(FPR Diff)를 달성하여, 공정 재균형화와 같은 기준 모델들을 초월하였다.
• 출력 일치 제약 조건을 적용함으로써 테스트 예시 전체에서 일치율이 87.67%로 향상되어 모델의 신뢰도와 일관성 향상이 확인되었다.
• Grad-CAM 시각화 결과, 대조 예시를 사용해 훈련된 모델이 더 많은 주의를 관련 얼굴 부위(예: 입술)에 기울이고 성별 또는 연령 정보에 대한 의존도를 줄임을 확인하였다. 이는 공정성 향상에 기여하였다.
• DiF 데이터셋에서 피부 색소 그룹 간의 공정성 지표 격차가 감소하여, 다양한 얼굴 인식 환경에서 공정성 향상에 효과적임을 뒷받침하였다.
• Adult Income 데이터셋에서 대조 예시는 반대로 요인과 유사한 특성을 보였으며, 이는 인과 공정성 원칙과 개념적으로 일치함을 검증하였다.