[논문 리뷰] Fairness without Demographics through Adversarially Reweighted Learning

Preethi Lahoti, Alex Beutel외 6명|arXiv (Cornell University)|2020. 06. 23.

Ethics and Social Impacts of AI참고 문헌 52인용 수 46

한 줄 요약

ARL은 관찰되지 않는 보호된 그룹들 간의 최대-최소 공정성을 향상시키기 위해 적대적으로 학습 예시의 가중치를 재조정하는 방식으로 모델을 학습시키며, DRO보다 최악의 경우 AUC를 개선하면서 전체 AUC를 유지하거나 향상시킵니다.

ABSTRACT

Much of the previous machine learning (ML) fairness literature assumes that protected features such as race and sex are present in the dataset, and relies upon them to mitigate fairness concerns. However, in practice factors like privacy and regulation often preclude the collection of protected features, or their use for training or inference, severely limiting the applicability of traditional fairness research. Therefore we ask: How can we train an ML model to improve fairness when we do not even know the protected group memberships? In this work we address this problem by proposing Adversarially Reweighted Learning (ARL). In particular, we hypothesize that non-protected features and task labels are valuable for identifying fairness issues, and can be used to co-train an adversarial reweighting approach for improving fairness. Our results show that {ARL} improves Rawlsian Max-Min fairness, with notable AUC improvements for worst-case protected groups in multiple datasets, outperforming state-of-the-art alternatives.

연구 동기 및 목표

• 프라이버시나 규제로 인해 보호 속성이 이용 불가능할 때 기계학습에서의 공정성의 필요성을 고취합니다.
• 알려지지 않은 보호 그룹에 대한 Rawlsian 최대-최소 공정성을 formalize합니다.
• ARL 도입으로 계산적으로 식별 가능한 오차 영역의 가중치를 높여 최악의 그룹의 성능을 개선합니다.
• 데이터셋 전반에 걸친 ARL의 강건성과 동작에 대한 실증적 및 분석적 통찰을 제시합니다.

제안 방법

• 관찰되지 않은 보호 그룹들 간의 최소 그룹 효용을 최대화하는 미니맥스 objective를 형식화합니다.
• 높은 손실 영역을 식별하고 손실에 가중치를 주기 위해 가중치 lambda_phi를 생성하는 예측기 f_phi(X,Y)를 사용하는 적대적 재가중화 메커니즘을 도입합니다.
• 안정성과 모든 예시의 참여를 보장하기 위해 적대적 가중치를 제약 및 정규화합니다.
• 두 선수 게임에서 번갈아 학습자 h_theta와 적대자 f_phi를 학습합니다.
• 작은 데이터세트에는 선형 적대자나 간단한 네트워크를 사용하고, 오픈소스 TensorFlow 구현을 제공합니다.

실험 결과

연구 질문

• RQ1 학습 및 추론 시 보호 그룹 소속이 알려져 있지 않을 때 공정성을 개선할 수 있는가?
• RQ2 계산적으로 식별 가능한 오차 영역에 기반한 적대적 재가중이 기존 방법(DRO)보다 더 우수한 최악의 경우 성능(AUC_min)을 낳는가?
• RQ3 ARL이 전체 효용(AUC_avg) 및 표현 편향과 라벨 편향에 대한 강건성에 미치는 영향은 무엇인가?
• RQ4 학습된 예시 가중치가 실제 오분류 및 기저율 변화와 어떻게 상관관계가 있는가?

주요 결과

• ARL은 Adult, LSAC, COMPAS 데이터셋에서 최악의 경우 보호 그룹 AUC를 개선하여 DRO 및 베이스라인을 능가하고 종종 AUC_min minority에서도 우수합니다.
• Adult에서 기준선 대비 최대 6.5ppt의 AUC 향상을 보이고, 여러 데이터셋에서 AUC_avg 및 AUC_macro를 향상시킵니다.
• ARL은 기본선 및 DRO보다 더 좋거나 유사한 전체 AUC(AUC_avg)를 달성하여 바람직한 효용-공정성 트레이드오프를 시사합니다.
• 실험에서 ARL의 가중치는 오분류되었거나 고손실 영역에 초점을 맞추고 기저율 변화에 적응하여 의미 있고 해석 가능한 가중 패턴을 보여줍니다.
• ARL은 표현 편향 및 특정 라벨 노이즈 상황에 대해 강건하지만, 과도한 라벨 노이즈에서는 다른 공정성 접근법과 마찬가지로 저하될 수 있습니다.