[논문 리뷰] Domain Adaptation meets Individual Fairness. And they get along

Debarghya Mukherjee, Felix Petersen외 2명|arXiv (Cornell University)|2022. 05. 01.

Insurance, Mortality, Demography, Risk Management인용 수 5

한 줄 요약

이 논문은 도메인 적응(DA)과 개인의 공정성(IF) 사이의 상호 이중 연결을 수립하며, IF를 강제하면 공변 변화 하에서 분포 외 일반화가 향상되며, DA 방법이 특별한 확률 조건 하에서 IF를 강제할 수 있음을 보여준다. 주요 기여는 알고리즘 편향을 유발하는 데이터 분포 이동을 완화하는 데 있어 공정성 간섭과 도메인 적응 기법이 상호 보완적임을 이론적이고 실증적으로 입증한 것이다.

ABSTRACT

Many instances of algorithmic bias are caused by distributional shifts. For example, machine learning (ML) models often perform worse on demographic groups that are underrepresented in the training data. In this paper, we leverage this connection between algorithmic fairness and distribution shifts to show that algorithmic fairness interventions can help ML models overcome distribution shifts, and that domain adaptation methods (for overcoming distribution shifts) can mitigate algorithmic biases. In particular, we show that (i) enforcing suitable notions of individual fairness (IF) can improve the out-of-distribution accuracy of ML models under the covariate shift assumption and that (ii) it is possible to adapt representation alignment methods for domain adaptation to enforce individual fairness. The former is unexpected because IF interventions were not developed with distribution shifts in mind. The latter is also unexpected because representation alignment is not a common approach in the individual fairness literature.

연구 동기 및 목표

• 알고리즘 공정성 간섭, 특히 개인의 공정성(IF)이 분포 이동 하에서 모델 일반화 성능을 향상시킬 수 있는지 조사하기.
• 도메인 적응(DA) 방법이 개인의 공정성을 강제하는 데 활용될 수 있는지 검토하기.
• 알고리즘 공정성과 도메인 적응이라는 두 개의 별개 연구 분야 간 격차를 메우기 위해 공통의 인도적 편향과 상호 이점을 규명하기.
• 실세계 데이터셋(Bios 및 Toxicity)에서 이론적 주장의 실증적 검증을 통해 공정성과 일반화에서의 교차 방법적 이점 입증하기.

제안 방법

• 논문은 단일 레이블링된 훈련 데이터셋을 DA를 위한 소스 및 타겟 도메인으로 재구성하기 위한 새로운 데이터 분할 전략을 제안하며, 이 분할은 공정성과 관련된 특성(예: Bios에서의 성별, 댓글에서의 신원 토큰)에 기반한다.
• 분할된 데이터에 표준 도메인 적응 방법(DANN, VADA, WDA, SenSeI)을 적용하여 도메인 간 특징 표현을 정렬함으로써 암묵적으로 개인의 공정성을 강제한다.
• 이론적 분석은 공변 변화 하에서 회귀 함수가 개인의 공정성을 만족할 경우 IF 강제가 분포 외 정확도 향상으로 이어진다는 것을 보여준다.
• DA와 IF 사이의 연결을 정형화하기 위해 확률적 요인 모델을 도입하며, 이 모델 하에서 특징 분포 정렬이 개인의 공정성을 강제할 수 있음을 보여준다.
• 일致성 정규화를 통합 원칙으로 사용: 유사한 입력(예: 성별 대명사만 바꾼 동일한 생애사)은 유사한 예측을 받아야 한다.
• 실험은 균형 정확도(BA)와 예측 일致성(PC)를 지표로 하며, 정확도를 높이기 위해 10회 랜덤 실행을 실시한다.

실험 결과

연구 질문

• RQ1 공변 변화 하에서 개인의 공정성을 강제하면 모델의 분포 외 일반화 성능이 향상되는가?
• RQ2 특정 확률적 가정 하에서 특징 분포를 정렬하는 도메인 적응 방법이 개인의 공정성을 강제하는 데 사용될 수 있는가?
• RQ3 도메인 적응에서의 표현 정렬과 개인의 공정성 원칙 사이의 이론적 연결은 무엇인가?
• RQ4 다양한 도메인 적응 기법이 공정성 분할 훈련 데이터에 적용되었을 때 개인의 공정성 지표 향상에 어떻게 비교되는가?
• RQ5 동일한 데이터 분할 및 DA 훈련 전략이 공정성과 일반화 양면에서 향상 효과를 낼 수 있는가?

주요 결과

• DA 방법을 통한 개인의 공정성 강제로 인해 Toxicity 데이터셋에서 예측 일치성(PC)이 최대 13.3%p 향상되었으며, WDA는 기준값 62.1% 대비 65.4%의 PC를 기록했다.
• Bios 데이터셋에서는 WDA가 95.5%의 예측 일치성을 기록하여 기준값(94.2%)과 다른 DA 방법들을 모두 앞섰다.
• 개별 공정성에 특화된 SenSeI 방법은 Toxicity에서 가장 높은 PC(77.3%)를 기록했지만, 문제에 특화된 공정성 지표가 필요로 했고, DA 방법은 단지 데이터 분할 전략만 필요로 했다.
• DA 방법 중에서 WDA는 균형 정확도(BA)와 예측 일치성(PC) 사이의 최적의 트레이드오프를 달성하여 Toxicity에서 높은 BA(83.3%)와 강력한 PC(65.4%)를 유지했다.
• 결과는 DA 기반 접근이 명시적인 공정성 지표가 필요 없이도 상당한 공정성 향상을 달성할 수 있음을 보여주며, 전용 IF 방법보다 접근성이 높다는 것을 확인한다.
• 이 연구는 IF와 DA가 공통의 인도적 편향—특히 유사한 입력에 대해 일致한 예측을 내는 것—에서 유래하는 바를 확인하며, 양 분야 간 통합 원칙을 강조한다.