[논문 리뷰] There is no trade-off: enforcing fairness can improve accuracy

Subha Maity, Debarghya Mukherjee외 2명|arXiv (Cornell University)|2021. 05. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 4

한 줄 요약

이 논문은 공정성과 모델 성능가운데 상충관계가 있다는 널리 퍼진 믿음을 도전하며, 훈련 데이터의 표본 추출 불균형에서 기인하는 편향이 있을 경우 공정성 강제 조건이 정확도를 향상시킬 수 있음을 보여준다. 비편향된 테스트 데이터에서 모델 예측을 베이즈 결정 규칙에 맞추면, 공정성 제약 조건이 데이터 편향을 보정하고 일반화 능력을 향상시킬 수 있다.

ABSTRACT

One of the main barriers to the broader adoption of algorithmic fairness in machine learning is the trade-off between fairness and performance of ML models: many practitioners are unwilling to sacrifice the performance of their ML model for fairness. In this paper, we show that this trade-off may not be necessary. If the algorithmic biases in an ML model are due to sampling biases in the training data, then enforcing algorithmic fairness may improve the performance of the ML model on unbiased test data. We study conditions under which enforcing algorithmic fairness helps practitioners learn the Bayes decision rule for (unbiased) test data from biased training data. We also demonstrate the practical implications of our theoretical results in real-world ML tasks.

연구 동기 및 목표

• 비편향된 테스트 데이터에서 알고리즘 공정성을 강제로 적용할 경우 모델 성능 향상 여부를 조사하는 것.
• 편향된 훈련 데이터에서 베이즈 결정 규칙을 복원하는 데 있어 공정성 제약 조건이 작용하는 조건을 분석하는 것.
• 실제 기계학습 작업에서 공정성 강제 조건의 실용적 이점을 보여주는 것.
• 공정성이 성능에 비용이 든다는 일반적인 가정을 도전하는 것.

제안 방법

• 저자는 훈련 데이터에 표본 추출 편향이 존재할 경우 공정성 제약 조건이 모델 학습에 미치는 영향을 분석한다.
• 비편향된 테스트 데이터에서 공정성 강제 조건이 베이즈 최적 결정 규칙에 더 잘 맞출 수 있는 조건을 유도한다.
• 이 방법은 편향된 표본 추출으로 인한 데이터 분포 이탈을 보정하는 데 있어 공정성 제약 조건의 작용을 이론적으로 분석하는 것을 포함한다.
• 통계적 학습 이론을 사용하여 공정성 강제 조건이 비편향된 데이터에서 일반화 오차를 감소시킬 수 있음을 보여주는 접근 방식이다.
• 실제 기계학습 작업에 대한 경험적 평가를 통해 프레임워크를 검증한다.
• 핵심 아이디어는 공정성 제약 조건이 데이터 편향을 보정하는 정규화 역할을 하여 일반화 능력을 향상시킨다는 것이다.

실험 결과

연구 질문

• RQ1 언제 공정성 강제 조건이 비편향된 테스트 데이터에서 모델 정확도를 향상시키는가?
• RQ2 표본 추출으로 인해 훈련 데이터가 편향되었을 경우 공정성 제약 조건이 베이즈 결정 규칙 복원에 도움이 되는가?
• RQ3 표본 추출 편향이 존재할 경우 공정성 강제 조건이 일반화 오차를 감소시키는가?
• RQ4 비편향된 데이터에서 표준 훈련 방식과 비교해 공정성 강제 조건은 성능에 어떻게 영향을 미치는가?
• RQ5 실제 기계학습 응용에서 데이터 편향을 보정하기 위해 공정성 제약 조건을 사용할 경우 실용적 함의는 무엇인가?

주요 결과

• 훈련 데이터에 표본 추출 편향이 포함되어 있을 경우 공정성 강제 조건이 정확도를 향상시킬 수 있으며, 이는 공정성-성능 상충관계에 대한 가정을 반박한다.
• 공정성 제약 조건은 데이터 분포 이탈을 보정함으로써 비편향된 테스트 데이터에서 모델이 베이즈 결정 규칙에 수렴하도록 돕는다.
• 정확도 향상은 공정성이 편향된 표본 추출의 영향을 완화하는 정규화의 한 형태로 작용하기 때문에 발생한다.
• 실제 작업에서의 경험적 결과는 공정성 강제 조건이 비편향된 테스트 세트에서 성능을 향상시킨다는 것을 확인한다.
• 공정성이 정확도를 향상시키는 조건에 대한 이론적 유도 결과는 실제 시나리오에서도 실용적으로 관련성이 있음을 보여준다.
• 이 연구는 공정성이 비용이 아니라 데이터가 편향되었을 경우 모델 일반화 능력을 향상시키는 보정 메커니즘이라는 것을 입증한다.