[논문 리뷰] Transferring Fairness under Distribution Shifts via Fair Consistency Regularization

Bang An, Zora Che외 2명|arXiv (Cornell University)|2022. 06. 26.

Ethics and Social Impacts of AI인용 수 10

한 줄 요약

이 논문은 분포 이탈 상황에서 정의와 정확도를 전이하기 위해 그룹 유지 변환에 대해 일관된 예측을 강제하는 자기학습 방법인 정의 일관성 정규화(Fair Consistency Regularization, FCR)를 제안한다. 이 방법은 내부 그룹 확장 가정을 활용하며, 합성 및 실세계 이미지/표본 데이터셋에서 도메인, 서브집단, 하이브리드 이탈에 걸쳐 정의 전이에 강건함을 보이며, 기준 모델 대비 정의 및 정확도 측면에서 슈퍼리오르한 성능을 발휘한다.

ABSTRACT

The increasing reliance on ML models in high-stakes tasks has raised a major concern on fairness violations. Although there has been a surge of work that improves algorithmic fairness, most of them are under the assumption of an identical training and test distribution. In many real-world applications, however, such an assumption is often violated as previously trained fair models are often deployed in a different environment, and the fairness of such models has been observed to collapse. In this paper, we study how to transfer model fairness under distribution shifts, a widespread issue in practice. We conduct a fine-grained analysis of how the fair model is affected under different types of distribution shifts and find that domain shifts are more challenging than subpopulation shifts. Inspired by the success of self-training in transferring accuracy under domain shifts, we derive a sufficient condition for transferring group fairness. Guided by it, we propose a practical algorithm with a fair consistency regularization as the key component. A synthetic dataset benchmark, which covers all types of distribution shifts, is deployed for experimental verification of the theoretical findings. Experiments on synthetic and real datasets including image and tabular data demonstrate that our approach effectively transfers fairness and accuracy under various distribution shifts.

연구 동기 및 목표

• 실세계 머신러닝 배포 환경에서 정의가 분포 이탈 상황에서 붕괴되는 이유를 규명하는 것.
• 정의 전이 측면에서 도메인 이탈이 서브집단 이탈보다 더 도전적인 이유를 규명하는 것.
• 이론에 기반한 자기학습 방법을 개발하여 분포 이탈 상황에서도 정의를 유지하는 것.
• 이를 다양한 합성 및 실세계 데이터셋(이미지 및 표본 데이터 포함)에서 검증하는 것.

제안 방법

• 내부 그룹 확장 가정에 기반해 분포 이탈 상황에서 그룹 정의를 전이하기 위한 이론적 충분조건을 제안한다.
• 핵심 구성 요소로 정의 일관성 정규화(FCR)를 도입하여, 민감 속성을 유지하는 데이터 변환에 대해 일관된 예측을 강제한다.
• 라벨이 없는 타겟 도메인 데이터를 사용한 자기학습을 수행하며, 민감 속성을 유지하는 변환에 대해 예측의 일관성을 정규화한다.
• 실세계 이탈 유형을 시뮬레이션하기 위해 다양한 분포 이탈(도메인, 서브집단, 하이브리드)을 포함한 합성 벤치마크를 활용한다.
• 민감 속성을 변경하지 않는 변환(예: 대trast, Color, Solarize)을 신중히 선택하여 내부 그룹 확장 가정을 유지한다.
• 이를 이미지 및 표본 데이터에 모두 적용하며, 이미지 데이터에는 표준 증강 기법을, 표본 데이터에는 도메인 특화 변환 기법을 사용한다.

실험 결과

연구 질문

• RQ1 왜 실세계 배포 환경에서 분포 이탈 상황에서 정의가 붕괴되는가?
• RQ2 도메인, 서브집단, 하이브리드와 같은 다양한 유형의 분포 이탈이 머신러닝 모델의 정의 전이 가능성에 어떻게 영향을 미치는가?
• RQ3 분포 이탈 상황에서 도메인 간 정의 전이를 가능하게 하는 이론적 조건은 무엇인가?
• RQ4 정의 인지 일관성 정규화를 갖춘 자기학습이 분포가 이탈한 타겟 도메인에서 정의와 정확도를 효과적으로 유지할 수 있는가?
• RQ5 특정 데이터 변환이 정의 전이에 어떤 영향을 미치며, 내부 그룹 확장 가정 하에서 안전하게 사용할 수 있는 변환은 무엇인가?

주요 결과

• 도메인 이탈은 기초적으로 다른 데이터 분포를 포함하므로, 서브집단 이탈보다 정의 전이에 더 도전적이다.
• 정의 일관성 정규화는 합성 및 실세계 데이터셋에서 도메인, 서브집단, 하이브리드 이탈의 세 가지 유형 모두에 걸쳐 정의 전이를 크게 향상시킨다.
• 이 방법은 정의 및 정확도 전이 측면에서 최신 기준 성능을 달성하며, UTKFace 및 FairFace 데이터셋에서 기준 모델 대비 일관된 개선을 보였다.
• Contrast, Color, Solarize와 같은 변환은 내부 그룹 확장 가정을 위반하여 불공정성을 증가시키므로, 이는 방법에서 배제된다.
• 이 방법은 준지도 학습의 부정적 영향을 완화하여, FixMatch 실험에서 성능이 낮은 클래스의 복리 비율을 향상시킨다.
• 이 방법은 이미지 및 표본 데이터 모두에서 효과적이며, 성능 향상은 변환의 품질과 그룹 유지 성격에 따라 달라진다.