[논문 리뷰] Statistical Equity: A Fairness Classification Objective

Ninareh Mehrabi, Yuzhong Huang외 1명|arXiv (Cornell University)|2020. 05. 14.

Ethics and Social Impacts of AI참고 문헌 18인용 수 5

한 줄 요약

이 논문은 훈련 데이터의 역사적 편향을 고려하고 과거의 불리한 대우를 보완하기 위해 예측을 조정하는 새로운 공정성 정의인 '통계적 형평성(statistical equity)'을 제안한다. 교차 엔트로피와 형평성 목표를 조합한 수정된 손실 함수를 사용하며, 피드백 루프를 감소시키고 기존의 통계적 평등성보다 공정성 평가에서 뛰어난 성능을 보인다. 이는 자동 평가와 인간 평가를 통해 확인된다.

ABSTRACT

Machine learning systems have been shown to propagate the societal errors of the past. In light of this, a wealth of research focuses on designing solutions that are "fair." Even with this abundance of work, there is no singular definition of fairness, mainly because fairness is subjective and context dependent. We propose a new fairness definition, motivated by the principle of equity, that considers existing biases in the data and attempts to make equitable decisions that account for these previous historical biases. We formalize our definition of fairness, and motivate it with its appropriate contexts. Next, we operationalize it for equitable classification. We perform multiple automatic and human evaluations to show the effectiveness of our definition and demonstrate its utility for aspects of fairness, such as the feedback loop.

연구 동기 및 목표

• 기계 학습에서 역사적 편향을 고려하는 종합적인 공정성 정의가 부족한 문제를 해결하기 위해.
• 그룹 수준의 공정성을 유지하면서 과거의 불리한 대우를 보완하는 공정성 목표로서 형평성을 체계화하기 위해.
• 표준 분류 목표와 통합된 학습 가능한 손실 함수를 개발하기 위해.
• 제안된 방법이 피드백 루프를 완화하고 실제 환경에서 공정성을 향상시키는 데 효과적인지 평가하기 위해.
• 자동 평가와 인간 평가를 통해 통계적 형평성과 기존의 통계적 평등성과 같은 전통적 공정성 정의를 비교하기 위해.

제안 방법

• 논문은 훈련 데이터에서 관찰된 역사적 그룹 수준의 편향을 기반으로 예측을 조정하는 공정성 정의로서 형평성을 체계화한다.
• 교차 엔트로피 손실과 역사적 기초 비율에 상대적인 예측 결과의 격차를 허용하는 형평성 항을 조합한 하이브리드 손실 함수를 도입한다.
• 형평성 항은 역사를 거쳐 불리한 대우를 받은 그룹이 과거의 불공정성을 상쇄하기 위해 더 유리한 예측을 받도록 보장한다.
• 이 방법은 인퍼로세싱을 통해 구현되며, 정확도와 형평성을 동시에 최적화하도록 훈련 목표를 수정한다.
• 표준 교차 검증을 사용하여 평가하고, 합성 및 실제 데이터에서 피드백 루프 완화에 대해 테스트한다.
• 다양한 시나리오에서 통계적 형평성과 통계적 평등성 간의 공정성 인식을 비교하기 위해 인간 평가를 실시한다.

실험 결과

연구 질문

• RQ1 기계 학습에서의 공정성 정의는 어떻게 체계화될 수 있는가? 이는 모든 그룹을 동등하게 대우하는 것이 아니라 역사적 편향을 고려해야 한다.
• RQ2 제안된 형평성 기반 손실 함수는 의사결정 시스템에서 피드백 루프를 어느 정도 감소시키는가?
• RQ3 인간 평가자들 사이에서 통계적 형평성과 통계적 평등성 간의 공정성 인식은 어떻게 비교되는가?
• RQ4 정확도, 형평성, 그룹 수준의 공정성을 균형 잡는 데이터 기반의 공정성 목표를 설계할 수 있는가?
• RQ5 분류 목표에 형평성을 통합함으로써 모델 성능과 공정성 지표에 어떤 영향을 미치는가?

주요 결과

• 제안된 통계적 형평성 프레임워크는 모델 예측에서 역사적 편향을 보정함으로써 피드백 루프를 효과적으로 감소시킨다.
• 특히 역사를 거쳐 불리한 대우를 받은 그룹이 포함된 시나리오에서, 표준 통계적 평등성보다 공정성 평가에서 뛰어난 성능을 보인다.
• 인간 평가 결과, 역사적 불평등이 존재하는 맥락에서 통계적 형평성 기반 결정이 통계적 평등성 기반 결정보다 더 공정하다고 평가자들이 인식한다.
• 하이브리드 손실 함수는 정확도와 공정성을 효과적으로 균형 잡으며, 고성능을 유지하면서도 형평성 결과를 향상시킨다.
• 손실 함수에 역사적 기초 비율을 통합함으로써 전체 모델 성능을 희생시키지 않고도 더 공정한 예측이 가능하다는 점을 입증한다.
• 연구는 역사적 격차가 존재하는 맥락에서 형평성 기반 공정성 정의가 동등성 기반 정의보다 더 효과적이라는 점을 확인한다.