[논문 리뷰] Transfer of Machine Learning Fairness across Domains

Candice Schumann, Xuezhi Wang외 4명|arXiv (Cornell University)|2019. 06. 24.

Ethics and Social Impacts of AI참고 문헌 31인용 수 26

한 줄 요약

이 논문은 이론적 경계와 새로운 모델링 목표를 활용하여 기계학습 도메인 간 공정성 전이를 위한 도메인 적응 프레임워크를 제안한다. 이는 데이터가 적은 타겟 도메인에서 공정성 지표를 향상시키는 데 기여한다. 실험 결과, 소스 도메인(예: 성별)에서 타겟 도메인(예: 인종)으로의 디 biases 지식 전이가 공정성 격차—특히 FPR 격차—를 크게 줄이며, 타겟 데이터가 극히 적은 조건에서 기준 모델보다 뛰어난 성능을 보였다. 이는 UCI 및 COMPAS 데이터셋에서의 시뮬레이션 및 실제 실험을 통해 검증되었다.

ABSTRACT

If our models are used in new or unexpected cases, do we know if they will make fair predictions? Previously, researchers developed ways to debias a model for a single problem domain. However, this is often not how models are trained and used in practice. For example, labels and demographics (sensitive attributes) are often hard to observe, resulting in auxiliary or synthetic data to be used for training, and proxies of the sensitive attribute to be used for evaluation of fairness. A model trained for one setting may be picked up and used in many others, particularly as is common with pre-training and cloud APIs. Despite the pervasiveness of these complexities, remarkably little work in the fairness literature has theoretically examined these issues. We frame all of these settings as domain adaptation problems: how can we use what we have learned in a source domain to debias in a new target domain, without directly debiasing on the target domain as if it is a completely new problem? We offer new theoretical guarantees of improving fairness across domains, and offer a modeling approach to transfer to data-sparse target domains. We give empirical results validating the theory and showing that these modeling approaches can improve fairness metrics with less data.

연구 동기 및 목표

• 새로운 훈련 없이 데이터가 적은 타겟 도메인으로 공정성을 소스 도메인에서 전이하는 데 도전하는 것.
• 공정성 지표인 기회 균등성과 결과 균등성의 전이에 대한 이론적 보장을 개발하는 것.
• 효과적인 공정성 전이를 가능하게 하는 일반적이고 이론적으로 탄탄한 모델링 목표를 설계하는 것.
• 실제 및 시뮬레이션 환경에서 공정성 전이의 효과성을 경험적으로 검증하는 것—특히 데이터가 적은 조건에서의 성능을 중심으로.

제안 방법

• 디 biases 지식을 소스 도메인에서 타겟 도메인으로 전이하는 문제를 도메인 적응 문제로 재정의하며, 서로 다른 데이터 분포를 가진 타겟 도메인에 적용한다.
• 도메인 이동 조건 하에서 공정성 지표 전이에 대한 이론적 경계를 유도하며, 특히 FPR 격차(거짓 양성 비율 격차)에 초점을 맞춘다.
• 공정성 인식 헤드를 갖춘 공유 표현을 사용하여 정확도와 공정성 전이를 동시에 최적화하는 모델링 목표를 제안한다.
• 잠재 표현에 대해 적대적 훈련을 적용하여 소스 및 타겟 도메인의 특징을 정렬하면서도 공정성 제약 조건을 유지한다.
• 실제 데이터 부족과 분포 이동을 시뮬레이션하기 위해 프록시 민감 속성과 시뮬레이션된 데이터 증강 기법을 사용한다.
• 배치 크기, 학습률, 은닉 유닛 수, 임bedding 차원, 훈련 스텝 수 등의 하이퍼파라미터를 조정하고 교차 검증을 통해 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 소스 도메인에서 타겟 도메인으로 공정성 지표(예: 기회 균등성, 결과 균등성)를 효과적으로 전이할 수 있는가?
• RQ2 소스 및 타겟 도메인 간 민감 속성이 다를 경우, 특히 도메인 이동 조건 하에서 공정성 전이에 대한 이론적 경계는 어떻게 작동하는가?
• RQ3 기준 모델 대비 제안된 모델링 접근법이 낮은 데이터의 타겟 도메인에서 공정성 격차(예: FPR 격차)를 얼마나 줄이는가?
• RQ4 모델의 공정성/전이 헤드에 대한 가중치를 다르게 설정할 경우 정확도와 공정성 간의 트레이드오프는 어떻게 변화하는가?
• RQ5 공정성 전이가 실패하는 상황은 언제이며, 데이터 분포나 프록시 품질 등의 요소 중 어떤 것이 전이 가능성에 가장 큰 영향을 미치는가?

주요 결과

• Transfer 모델은 타겟 도메인에서 FPR 격차를 크게 줄이며, 50개의 타겟 샘플조차도 기준 모델보다 낮은 격차를 기록했다.
• UCI 데이터셋에서 성별에서 인종으로의 전이 시, 타겟 인종 샘플이 50개 뿐이어도 Transfer 모델이 기준 모델 대비 FPR 격차를 최대 50%까지 감소시켰다.
• COMPAS 데이터셋에서는 모든 타겟 샘플 크기에서 Transfer 모델이 강력한 공정성 성능 유지를 보였으며, 기준 모델 대비 FPR 격차를 최대 40%까지 줄였다.
• 정확도와 공정성 간의 유리한 트레이드오프를 달성하였으며, 공정성 전이를 최적화하는 동안에도 정확도가 기준 모델과 2%포인트 이내로 유지되었다.
• 경험적 결과는 소스 및 타겟 도메인이 유사한 데이터 분포를 공유할수록 공정성 전이가 더 효과적임을 보여주었으며, 프록시 민감 속성이 잘 정렬되어 있을 경우 성능 향상이 두드러졌다.
• 제거 실험 결과, 공정성/전이 헤드가 성능에 핵심적임을 확인하였으며, 이를 제거할 경우 타겟 도메인에서 FPR 격차가 급격히 증가하였다.