[논문 리뷰] On Formalizing Fairness in Prediction with Machine Learning

Pratik Gajane, Pechenizkiy, Mykola|arXiv (Cornell University)|2017. 10. 09.

Ethics and Social Impacts of AI참고 문헌 57인용 수 162

한 줄 요약

본 고찰은 기계학습 예측에서 공정성이 어떻게 형식화되는지 분석하고, 각 형식화를 사회과학의 분배적 정의 개념과 연결하며, 비판과 향후 방향을 논의한다.

ABSTRACT

Machine learning algorithms for prediction are increasingly being used in critical decisions affecting human lives. Various fairness formalizations, with no firm consensus yet, are employed to prevent such algorithms from systematically discriminating against people based on certain attributes protected by law. The aim of this article is to survey how fairness is formalized in the machine learning literature for the task of prediction and present these formalizations with their corresponding notions of distributive justice from the social sciences literature. We provide theoretical as well as empirical critiques of these notions from the social sciences literature and explain how these critiques limit the suitability of the corresponding fairness formalizations to certain domains. We also suggest two notions of distributive justice which address some of these critiques and discuss avenues for prospective fairness formalizations.

연구 동기 및 목표

• ML 예측 연구에서 공정성의 형식화를 조사한다.
• ML 공정성 개념을 사회과학의 분배적 정의 개념에 매핑한다.
• 사회과학 문헌을 활용해 각 공정성 형식화를 비판한다.
• 향후 연구를 위해 사회과학에서 두 가지의 미래 지향적 공정성 개념을 제안한다.

제안 방법

• ML 공정성 개념을 검토하고 분류한다(무지, 반사실적 공정성, 집단 공정성, 개인 공정성, 기회 평등, 선호 기반 공정성).
• 각 개념을 형식적 정의와 분배적 정의 이론과의 연결과 함께 설명한다.
• 각 개념에 대한 사회과학적 비판(편향, 한계, 영역 적합성)을 제시한다.
• 두 가지 미래 지향적 개념(자원 평등; 기능 수행 능력의 평등)과 그것들의 잠재적 ML 형식화를 논의한다.
• 관련 문헌 및 실증적 고려를 교차 참조하여 도메인 간 적용 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 예측 의사결정을 위한 문헌에 존재하는 ML 공정성 형식화는 무엇인가?
• RQ2 이러한 ML 개념은 사회과학의 분배적 정의 이론과 어떻게 일치하거나 충돌하는가?
• RQ3 각 공정성 형식화의 비판은 무엇이며 어떤 도메인에서 부적합할 수 있는가?
• RQ4 ML을 위한 새롭고 더 강건한 공정성 형식화를 촉발할 사회과학 개념은 무엇인가?
• RQ5 자원 평등 또는 기능 수행 능력의 평등을 ML 공정성 프레임워크에 통합할 수 있는 방법은 무엇인가?

주요 결과

• 공정성 형식화는 동등성(평등성) 대 선호, 대우 대 영향, 그룹 대 개인의 관점 중 어떤 것을 목표로 하는지에 따라 다르다.
• 집단 공정성은 진리값과 무관한 통계적/인구학적 평등성에 의존하므로 공적 자격이나 효율성을 잘못 판단할 수 있다.
• 반사실적 공정성은 인과적 추론을 사용하지만 편향과 인과성 문제에 취약할 수 있다.
• 개인적 공정성은 출력과 거리 측정치를 연결하지만 비차별적 지표 의존으로 인해 보장하기 어렵다.
• 기회 균등은 삶의 전망에 대한 더 넓은 사회적 영향을 다루지 않는다는 비판이 있다.
• 저자들은 한계를 해결하기 위해 자원 평등과 기능 수행 능력의 평등을 미래 지향적 공정성 개념으로 제안한다.