[논문 리뷰] Mathematical Notions vs. Human Perception of Fairness: A Descriptive Approach to Fairness for Machine Learning

Megha Srivastava, Hoda Heidari외 1명|arXiv (Cornell University)|2019. 02. 13.

Ethics and Social Impacts of AI인용 수 28

한 줄 요약

이 연구는 기계 학습에서 평범한 사람들의 공정성 인식과 가장 잘 부합하는 수학적 공정성 정의가 무엇인지 조사한다. 아마존 메카니컬 터크에서 수행한 적응형 액티브 러닝 실험을 통해, 복잡한 공정성 정의를 알고 있음에도 불구하고, 가장 단순한 공정성 개념인 민족적 평등성(디모그라픽 패리티)이 형사 재범 위험 평가와 의료 예측이라는 두 가지 고위험 분야에서 인간의 직관과 가장 밀접하게 부합하는 것으로 나타났다.

ABSTRACT

Fairness for Machine Learning has received considerable attention, recently. Various mathematical formulations of fairness have been proposed, and it has been shown that it is impossible to satisfy all of them simultaneously. The literature so far has dealt with these impossibility results by quantifying the tradeoffs between different formulations of fairness. Our work takes a different perspective on this issue. Rather than requiring all notions of fairness to (partially) hold at the same time, we ask which one of them is the most appropriate given the societal domain in which the decision-making model is to be deployed. We take a descriptive approach and set out to identify the notion of fairness that best captures \\emph{lay people's perception of fairness}. We run adaptive experiments designed to pinpoint the most compatible notion of fairness with each participant's choices through a small number of tests. Perhaps surprisingly, we find that the most simplistic mathematical definition of fairness---namely, demographic parity---most closely matches people's idea of fairness in two distinct application scenarios. This conclusion remains intact even when we explicitly tell the participants about the alternative, more complicated definitions of fairness, and we reduce the cognitive burden of evaluating those notions for them. Our findings have important implications for the Fair ML literature and the discourse on formalizing algorithmic fairness.

연구 동기 및 목표

• 실제 의사결정 맥락에서 평범한 사람들의 공정성 인식과 가장 잘 부합하는 수학적 공정성 정의를 특정하는 것.
• 사람들의 공정성 판단이 복잡한 공정성 개념(예: 오차의 균형, 校정)보다는 단순한 개념(예: 민족적 평등성)과 더 잘 부합하는지 조사하는 것.
• 생명 예상 수명이나 형사 결과에 영향을 주는 의사결정과 같은 고위험 조건에서 공정성 인식이 어떻게 변화하는지 탐색하는 것.
• 참가자들에게 다른 공정성 정의에 대해 명시적인 정보를 제공할 경우 그들의 선호가 어떻게 변화하는지 평가하는 것.
• 최소한의 인지 부담으로 개인의 공정성 선호를 효율적으로 특정할 수 있는 적응형 실험 프레임워크를 개발하고 검증하는 것.

제안 방법

• 각 참가자당 최대 20회 테스트로 제한하면서도 정보 수확량을 극대화하기 위해 액티브 러닝(기구 EC2)을 사용한 적응형 실험을 수행하였다.
• 참가자들에게 10명의 의사결정 대상자에 대해 진짜 레이블과 예측 레이블이 알려진 가상의 기계 학습 모델 쌍을 제시하고, 더 덜 차별적인 모델을 선택하도록 요청하였다.
• 공정성 인식을 실제 세계의 복잡성에서 분리하기 위해 통제된 스타일리제이션된 시나리오 설계를 사용하였으며, 주로 민족적 집단 간 레이블 분포에 집중하였다.
• 이전 응답을 바탕으로 다음 테스트를 동적으로 선택하여 효율적인 공정성 개념의 식별을 보장하기 위해 이중 암반 블랙잭(두 개의 팔이 있는 밴딧) 접근법(기구 EC2)을 적용하였다.
• 고승인율과 단일 참여를 기준으로 걸러내어 잡음을 줄인 300명 이상의 참가자로부터 응답을 수집하였다.
• 참가자들의 선택을 분석하여 사전 정의된 공정성 정의(민족적 평등성, 거짓 양성/음성 비율의 균형, 정확도의 균형, 校정)와의 호환성을 판단하였다.

실험 결과

연구 질문

• RQ1 형사 재범 위험 평가 맥락에서 참가자들의 공정성 인식과 가장 호환되는 수학적 공정성 개념은 무엇인가? (민족적 평등성, 거짓 양성/음성 비율의 균형, 정확도의 균형, 校정 중 하나)
• RQ2 의료 예측 시나리오에서 참가자들의 판단과 가장 잘 부합하는 공정성 개념은 무엇인가?
• RQ3 생명 예상 수명이나 형사 결과에 영향을 주는 고위험 상황에서 공정성의 중요도가 어떻게 변화하는가? 이는 정확도를 균형 잡는 것보다 더 선호되는가?
• RQ4 참가자들에게 다른 공정성 정의에 대해 명시적인 정보를 제공할 경우, 민족적 평등성에 대한 선호가 감소하는가?
• RQ5 적응형 실험 설계는 최소한의 인지 부담으로 개인의 공정성 선호를 효율적으로 특정할 수 있는가?

주요 결과

• 참가자들이 복잡한 공정성 정의에 대해 명시적으로 알게 된 상태에서도, 형사 재범 위험 평가와 의료 예측 시나리오 양쪽 모두에서 민족적 평등성이 가장 호환되는 공정성 개념이었다.
• 고위험 맥락에서 참가자들은 모델의 정확도에 더 큰 가치를 두고 결과 균형에 대한 가치를 낮추었으며, 이는 공정성과 성능 인식 간의 상충 관계를 시사한다.
• 적응형 실험 설계는 평균 10회 이내의 테스트로 참가자 각자의 가장 호환되는 공정성 개념을 성공적으로 특정하여 높은 효율성을 입증하였다.
• 참가자들의 선택은 인터페이스 디자인의 변화에 영향을 받지 않아, 연구 결과가 프레임워킹이나 인터페이스 설계의 산물이 아님을 시사한다.
• 민족적 평등성이 단순한 개념임에도 불구하고, 더 세밀한 공정성 정의보다 인간의 직관을 더 잘 반영하는 것으로 나타나, 복잡성이 더 나은 공정성 부합을 의미한다는 가정을 도전한다.
• 참가자 피드백에 따르면, 작업은 매력적이었으며 알고리즘 공정성에 대한 성찰을 유도했지만, 일부 참가자는 결정 대상자와 모델 메커니즘에 대한 더 많은 맥락 정보를 요청하였다.