[논문 리뷰] Prediction-Based Decisions and Fairness: A Catalogue of Choices, Assumptions, and Definitions

Shira Mitchell, Eric Potash외 3명|arXiv (Cornell University)|2018. 11. 19.

Ethics and Social Impacts of AI참고 문헌 85인용 수 108

한 줄 요약

데이터, 모델, 사회적 목표가 어떻게 상호 작용하는지 명확히 하며, 예측 기반 의사결정 시스템에서 공정성의 선택, 가정, 정의를 한데 모은 설문 연구.

ABSTRACT

A recent flurry of research activity has attempted to quantitatively define "fairness" for decisions based on statistical and machine learning (ML) predictions. The rapid growth of this new field has led to wildly inconsistent terminology and notation, presenting a serious challenge for cataloguing and comparing definitions. This paper attempts to bring much-needed order. First, we explicate the various choices and assumptions made---often implicitly---to justify the use of prediction-based decisions. Next, we show how such choices and assumptions can raise concerns about fairness and we present a notationally consistent catalogue of fairness definitions from the ML literature. In doing so, we offer a concise reference for thinking through the choices, assumptions, and fairness considerations of prediction-based decision systems.

연구 동기 및 목표

• 예측 기반 의사결정 시스템을 뒷받침하는 사회적 및 기술적 선택을 설명한다.
• 데이터, 모델, 평가를 포함하여 ML의 공정성에 영향을 미치는 가정과 의사결정을 체계화한다.
• ML 문헌의 공정성 정의에 대한 표기상의 일관된 카탈로그를 제공한다.
• 공정성 연구에서 수학적 형식화와 더 넓은 사회적 목표 사이의 간극을 강조한다.

제안 방법

• 공정성에 영향을 미치는 정책 설계 선택에 대한 구조화된 분류를 제시한다(전반적 목표, 모집단, 의사결정 공간).
• 데이터 편향을 통계적 편향(샘플링 및 측정)과 사회적 편향으로 분해하고 이들의 공정성에 대한 영향을 논의한다.
• 공정성에 영향을 미치는 데이터, 모델 클래스, 공변량 등의 예측 모델링 선택과 평가 가정을 요약한다.
• 문헌의 공정성 정의 카탈로그를 검토하고 구성한다. 혼동행렬 기반, 점수 기반, 충족(충족성) 유형 기준을 포함하여.
• 공정성에 대한 인과 프레임워크를 논의하고 정의들 간의 긴장과 불가능성을 식별한다.

실험 결과

연구 질문

• RQ1 예측 기반 의사결정 시스템에서 공정성 결과에 가장 큰 영향을 미치는 선택과 가정은 무엇인가?
• RQ2 데이터의 통계적 및 사회적 편향이 모델 선택과 어떻게 상호작용하여 그룹 간 공정성에 영향을 미치는가?
• RQ3 ML에서의 주요 공정성 정의는 무엇이며, 이것이 의사결정 맥락과 평가 가정과 어떻게 관련되는가?
• RQ4 단일 임계치 및 점수 기반 공정성 개념이 실제 의사결정 목표와 어느 정도 일치하는가?

주요 결과

• ML의 공정성은 사회적 목표, 모집단, 의사결정 공간을 모델링 및 평가 선택과 신중하게 정렬해야 한다.
• 데이터 편향은 통계적 편향(샘플링/측정)과 사회적 편향으로 구성되며 각각 공정성에 서로 다른 함의를 가진다.
• 여러 개의 공정성 정의가 존재하며 때로 상충하기도 한다(예: 오류율 균형, 예측적 동등성, 보정). 그리고 단일 정의가 보편적으로 적용되지는 않는다.
• 단일 임계치 공정성은 특정 가정 하에서 효용 극대화와 연관되지만 점수의 질과 선택된 효용에 달려 있다.
• 평가 가정(간섭 없음, 대칭적 해 악, 배치 의사결정)은 지각된 공정성과 결과를 결정적으로 형성한다.
• 인과 및 반사실 분석은 순수한 통계적 정의를 넘는 공정성에 대한 추가적 관점을 제공한다.