[논문 리뷰] Putting Fairness Principles into Practice: Challenges, Metrics, and Improvements

Alex Beutel, Jilin Chen외 7명|arXiv (Cornell University)|2019. 01. 14.

Ethics and Social Impacts of AI참고 문헌 34인용 수 26

한 줄 요약

이 논문은 집단 간 분포 차이를 고려하는 조건부 동일성이라는 공정성 지표와, 생산 환경에서 기회 균등성을 향상시키기 위한 안정적인 훈련 기법인 절대 상관관계 정규화를 제안한다. 두 개의 민감 그룹에 걸쳐 양성 예측 오류 비율 격차가 크게 감소함을 입증하였으며, 절대 상관관계 정규화는 안정성과 실용성 면에서 적대적 훈련을 능가한다.

ABSTRACT

As more researchers have become aware of and passionate about algorithmic fairness, there has been an explosion in papers laying out new metrics, suggesting algorithms to address issues, and calling attention to issues in existing applications of machine learning. This research has greatly expanded our understanding of the concerns and challenges in deploying machine learning, but there has been much less work in seeing how the rubber meets the road. In this paper we provide a case-study on the application of fairness in machine learning research to a production classification system, and offer new insights in how to measure and address algorithmic fairness issues. We discuss open questions in implementing equality of opportunity and describe our fairness metric, conditional equality, that takes into account distributional differences. Further, we provide a new approach to improve on the fairness metric during model training and demonstrate its efficacy in improving performance for a real-world product

연구 동기 및 목표

• 민감 그룹 간 데이터 분포가 다를 때 생산 환경에서의 공정성 측정에 도전하는 문제를 해결하기 위해.
• 예시 난이도의 집단 간 차이를 명시적으로 고려하는 실용적인 공정성 지표를 개발하기 위해.
• 모델 훈련 중 기회 균등성을 향상시키기 위한 안정적이고 학습 가능한 정규화 방법을 제안하기 위해.
• 실제 분류 시스템에서 공정성 향상의 효과를 평가하고 입증하기 위해.

제안 방법

• 집단 간 분포 차이를 명시적으로 모델링하는 조건부 동일성이라는 공정성 지표를 제안하여 기회 균등성을 평가한다.
• 모델 예측과 민감 속성 간 절대 상관관계를 최소화하는 훈련 기법인 절대 상관관계 정규화를 도입한다.
• 민감 속성을 예측하기 위한 별도의 헤드를 사용한 적대적 훈련을 적용하여 불변 표현을 유도한다.
• 직접적으로 양성 예측 오류 비율 감소를 목표로 하기 위해, 적대적 훈련에 음성 예시(y < τ)만을 사용한다.
• 한 그룹에 정규화를 적용하고 다른 그룹에 미치는 영향을 측정하여 교차 그룹 공정성 향상을 평가하기 위해 전이 학습을 활용한다.
• 더 큰 모델 아키텍처와 정규화 기법을 결합하여 정확도를 희생시키지 않고도 공정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 실제 데이터에서 민감 그룹 간 분포 차이를 고려할 수 있는 공정성 지표는 어떻게 설계할 수 있는가?
• RQ2 데이터 샘플링과 집단 분포가 변할 때 기회 균등성 측정에 실질적인 과제는 무엇인가?
• RQ3 생산 환경에서 정규화 기법이 적대적 훈련보다 공정성 지표 향상에 더 안정적으로 기여할 수 있는가?
• RQ4 한 그룹에 대해 공정성 향상을 도모할 때 다른 그룹에게도 어떤 정도의 이점이 전이되는가?
• RQ5 전체 모델 성능을 떨어뜨리지 않고 다수의 민감 그룹에 동시에 공정성을 향상시킬 수 있는가?

주요 결과

• 조건부 동일성은 예시 난이도의 집단 간 차이를 고려함으로써 공정성 평가를 더 명확하고 강건하게 만든다.
• 절대 상관관계 정규화는 양성 예측 오류 비율 격차를 크게 감소시켜, 1.44×에서 1.05×로 개선하였으며, 훈련 안정성도 유지한다.
• 적대적 훈련은 FPR 격차를 1.44×에서 1.04×로 줄였지만, 실무에서 절대 상관관계 정규화보다 덜 안정하다.
• 그룹 1에 절대 상관관계 정규화를 적용하면 그룹 2의 FPR 격차가 1.37×에서 1.31×로 약간 개선되어, 공정성 이점의 부분적 전이가 일어남을 시사한다.
• 두 그룹에 동시에 정규화를 적용하면 그룹 2의 FPR 격차가 1.11×로 감소하여 다중 그룹 공정성 향상이 입증된다.
• 더 큰 모델 아키텍처만으로도 공정성이 향상됨을 확인하여, 표현 능력이 편향 감소에 기여할 수 있음을 시사한다.