[논문 리뷰] On the (im)possibility of fairness

Sorelle A. Friedler, Carlos Scheidegger외 1명|arXiv (Cornell University)|2016. 09. 23.

Ethics and Social Impacts of AI참고 문헌 22인용 수 263

한 줄 요약

이 논문은 공간 기반의 형식적 프레임워크를 알고리즘 공정성에 대해 제시하고, construct, observed, 및 decision spaces를 도입하며, 공정성 보장이 construct–observed 관계에 대한 강한 세계관(WYSIWYG vs. WAE)에 의존한다는 것을 보인다. 또한 구조적 편향과 차별의 개념을 정의하고 공정하거나 비차별 메커니즘이 보장될 수 있는 조건을 분석한다.

ABSTRACT

What does it mean for an algorithm to be fair? Different papers use different notions of algorithmic fairness, and although these appear internally consistent, they also seem mutually incompatible. We present a mathematical setting in which the distinctions in previous papers can be made formal. In addition to characterizing the spaces of inputs (the "observed" space) and outputs (the "decision" space), we introduce the notion of a construct space: a space that captures unobservable, but meaningful variables for the prediction. We show that in order to prove desirable properties of the entire decision-making process, different mechanisms for fairness require different assumptions about the nature of the mapping from construct space to decision space. The results in this paper imply that future treatments of algorithmic fairness should more explicitly state assumptions about the relationship between constructs and observations.

연구 동기 및 목표

• construct, observed, and decision spaces 사이의 변환으로서의 공정성에 대한 수학 이론을 도입한다.
• 공간들이 어떻게 상호 작용하는지와 왜곡이 공정성 및 차별에 미치는 영향을 특성화한다.
• 공정성 보장이 construct–observed 매핑에 관한 강한 가정을 필요로 한다는 것을 증명한다.
• 세계관(WYSIWYG vs. WAE)을 구분하고 이를 공정성 개념과 메커니즘과 연결한다.
• 엄밀한 공간 기반 설정에서 구조적 편향 및 직접적/비차별성을 정의하고 정량화한다.

제안 방법

• 연관된 지표를 갖는 construct space, observed space, and decision space를 정의한다.
• 공간을 비교하기 위해 distortions, coupling measures, Wasserstein distance, 및 Gromov-Wasserstein distance를 도입한다.
• 공정성을 construct와 decision spaces 간의 closeness 보존으로 형식적으로 정의한다.
• 세계관: WYSIWYG (construct≈observed) 및 WAE (we’re all equal)와 그것들의 함의를 제시한다.
• 개별 공정성 메커니즘 (IFM) 및 그룹 공정성 메커니즘 (GFM)을 정의한다.
• WYSIWYG 하에서, disturbances를 가진 IFM이 공정성 보장을 초래한다는 것을 증명하고, 더 약한 가정하에서의 한계를 논의한다.

실험 결과

연구 질문

• RQ1 결정-의사결정이 construct, observed, 및 decision spaces 사이를 매핑할 때 공정성은 어떻게 형식화될 수 있는가?
• RQ2 이 삼부분 공간 프레임워크에서 어떤 가정하에서 공정성 보장이 달성되거나 실패할 수 있는가?
• RQ3 구조적 편향과 집단 간 차이가 공간 간 매핑과 결과적인 공정성에 어떤 영향을 미치는가?
• RQ4 다른 세계관(WYSIWYG 대 WAE)이 공정하거나 비차별적인 메커니즘의 설계에 어떤 영향을 미치는가?

주요 결과

• 공정성 보장은 construct와 observed 공간 간의 관계에 대한 강한 가정에 의존한다.
• 작은 왜곡하에서 적절한 메커니즘에 대해 WYSIWYG 세계관은 공정성 보장을 도출할 수 있다.
• 구조적 편향은 공간 간의 그룹 왜곡(group skew)을 통해 정량화될 수 있으며 비차별 평가에 영향을 미친다.
• 이 공간 프레임워크에서 개별 공정성 메커니즘과 그룹 공정성 메커니즘 사이에는 근본적인 차이가 있다.
• 대부분의 공정성 방법은 특정 공간 관계를 암시적으로 가정하는데, 이 프레임워크가 이를 명시적으로 한다.