[논문 리뷰] Fair Mixup: Fairness via Interpolation

Ching-Yao Chuang, Youssef Mroueh|arXiv (Cornell University)|2021. 03. 11.

Ethics and Social Impacts of AI참고 문헌 27인용 수 11

한 줄 요약

이 논문은 잠재 공간에서 민감 그룹 간의 보간 경로를 정규화하여 기계 학습에서 공정성 일반화를 향상시키는 데이터 증강 기법 Fair Mixup을 제안한다. Manifold Mixup을 활용해 의미적으로 유의미한 보간을 생성함으로써, 이러한 경로를 따라 모델 예측이 더욱 매끄럽게 되어, 테이블, 비전, NLP 벤치마크 전반에서 민감성 평등성과 동일한 기회에 대한 일반화가 크게 향상된다.

ABSTRACT

Training classifiers under fairness constraints such as group fairness, regularizes the disparities of predictions between the groups. Nevertheless, even though the constraints are satisfied during training, they might not generalize at evaluation time. To improve the generalizability of fair classifiers, we propose fair mixup, a new data augmentation strategy for imposing the fairness constraint. In particular, we show that fairness can be achieved by regularizing the models on paths of interpolated samples between the groups. We use mixup, a powerful data augmentation strategy to generate these interpolates. We analyze fair mixup and empirically show that it ensures a better generalization for both accuracy and fairness measurement in tabular, vision, and language benchmarks.

연구 동기 및 목표

• 훈련 중에 만족되는 공정성 제약이 평가 시점에서 실패하는 그룹 공정성 지표의 일반화 갭을 해소하기 위해.
• 훈련 데이터를 초월해 민감성 평등성(DP)과 동일한 기회(EO)와 같은 공정성 제약의 강건성과 일반화 능력을 향상시키기 위해.
• 잠재 공간에서의 보간된 그룹 분포를 따라 예측 전이가 매끄럽게 이루어지도록 모델을 암묵적으로 정규화하여 민감 속성에 대해 불변이 되도록 하는 데이터 증강 전략을 개발하기 위해.
• 잠재 공간 보간의 구조적 사전 지식을 활용하여 공정성 정규화와 모델 일반화 사이의 갭을 메우기 위해.
• 이론적으로 타당하며 확장 가능하고 모델에 종속되지 않는 방법을 개발하여 다양한 데이터 모odal리티에서 공정성 일반화를 향상시키기 위해.

제안 방법

• Manifold Mixup를 사용하여 잠재 특징 공간에서 두 민감 그룹(예: 남성/여성, 흑인/아시아계) 간의 보간 샘플을 생성하는 Fair Mixup이라는 데이터 증강 전략을 제안한다.
• 그룹 간 보간 경로를 따라 모델의 예측 전이가 매끄럽게 이루어지도록 정규화하여, 이 경로 전반에서 예측 분산을 최소화한다.
• 보간 경로를 따라 특징 매핑의 야코비안을 기반으로 폐쇄형 평활성 정규화 손실을 제안하며, 민감 속성에 대한 감도가 낮은 모델을 선호한다.
• 잠재 공간 보간(Manifold Mixup)을 사용하여 보간된 샘플이 자연스러운 데이터 다양체 위에 위치하도록 보장함으로써, 더 의미 있고 의미적으로 일관된 보간을 가능하게 한다.
• 비전, 테이블, NLP 작업 등 다양한 모델 아키텍처와 데이터 모달리티와 호환되는 플러그인 정규화 기법으로 Fair Mixup를 통합한다.
• 표준 크로스 엔트로피 손실과 평활성 정규화 손실의 조합으로 모델을 훈련하여 정확도와 공정성 일반화 양쪽을 최적화한다.

실험 결과

연구 질문

• RQ1 잠재 공간에서 민감 그룹 간 보간이 민감성 평등성과 동일한 기회와 같은 공정성 지표의 일반화에 도움이 될 수 있는가?
• RQ2 다양한 데이터 모달리티에서 Fair Mixup는 기존의 공정성 정규화 기법(예: 적대적 편향 제거, 갭 정규화)과 비교해 공정성 일반화 측면에서 어떻게 성능을 내는가?
• RQ3 그룹 간 보간 경로를 따라 예측 전이를 매끄럽게 강제하는 것이 훈련 데이터에 직접 제약을 부과하는 것보다 더 강건한 공정성 일반화를 이끌 수 있는가?
• RQ4 입력 공간 보간에 비해 잠재 공간 보간(Manifold Mixup)을 사용할 경우 공정성 일반화가 얼마나 향상되는가?
• RQ5 Fair Mixup는 아키텍처 수정 없이도 테이블 데이터, 이미지, 텍스트 등 다양한 모달리티에 효과적으로 적용될 수 있는가?

주요 결과

• Fair Mixup는 테이블, 비전, NLP 벤치마크 전반에서 기준 방법 대비 더 나은 공정성-정확도 트레이드오프를 달성하며, 민감성 평등성(ΔDP)과 동일한 기회(ΔEO)의 일반화가 크게 향상된다.
• CelebA 데이터셋에서 Fair Mixup는 이진 분류 작업에서 매력도 및 미소 표정과 같은 속성에 대해 표준 Mixup 및 기타 기준 방법 대비 ΔDP를 최대 40% 감소시켰다.
• Jigsaw 독성 댓글 분류 작업에서 Fair Mixup는 가장 작은 ΔDP(거의 선형 경로, 최소 기울기)를 기록했으며, '역 U자형' 예측 경로를 보인 적대적 편향 제거 및 갭 정규화보다 뛰어난 성능을 보였다.
• 캘리브레이션된 경로의 시각화 결과 Fair Mixup는 입력 공간과 잠재 공간 양쪽에서 더 평탄하고 선형적인 예측 곡선을 생성함을 보여주었으며, 이는 민감 속성에 대한 더 강한 불변성을 나타낸다.
• Manifold Mixup는 표준 Mixup 대비 성능 향상을 더 뚜렷하게 보였으며, 이는 잠재 공간 보간이 그룹 간 의미 있는 전이를 더 잘 포착함을 시사한다.
• 이론적 분석 결과 Fair Mixup는 특징 공간에서 맥스칼로비스 거리와 대응하며, 특징 매핑의 야코비안을 통해 공정성을 강제하는 것으로 밝혀졌으며, 정규화 효과에 기하학적 해석을 제공한다.