[논문 리뷰] Discriminative but Not Discriminatory: A Comparison of Fairness Definitions under Different Worldviews.

Samuel Yeom, Michael Carl Tschantz|arXiv (Cornell University)|2018. 08. 26.

Gender Diversity and Inequality인용 수 10

한 줄 요약

이 논문은 데이터 편향의 정도가 다른 다양한 세계관을 가정하는 맥락에서, 인구 통계적 평등, 등가된 우도, 예측 평등이라는 세 가지 공정성 정의를 비교한다. 논문은 특정 세계관 하에서 불평등 심화를 방지하기 위해 인구 통계적 평등과 등가된 우도가 정당화되며, 예측 평등은 큰 집단 간 불평등을 허용하여 불평등 심화를 방지하지 못함을 주장한다. 이에 따라 더 현실적인 세계관에 부합하는 새로운 공정성 개념을 제안한다.

ABSTRACT

We mathematically compare three competing definitions of group-level nondiscrimination: demographic parity, equalized odds, and predictive parity. Using the theoretical framework of Friedler et al., we study the properties of each definition under various worldviews, which are assumptions about how, if at all, the observed data is biased. We argue that different worldviews call for different definitions of fairness, and we specify the worldviews that, when combined with the desire to avoid a criterion for discrimination that we call disparity amplification, motivate demographic parity and equalized odds. In addition, we show that predictive parity is insufficient for avoiding disparity amplification because it allows an arbitrarily large inter-group disparity. Finally, we define a worldview that is more realistic than the previously considered ones, and we introduce a new notion of fairness that corresponds to this worldview.

연구 동기 및 목표

• 데이터 편향에 대한 다양한 가정(세계관)이 기계학습에서 공정성 정의의 적합성에 어떻게 영향을 미치는지 분석하기.
• 특정 세계관 하에서 가장 적합한 공정성 정의—인구 통계적 평등, 등가된 우도, 예측 평등—를 식별하기.
• 예측 평등이 큰 집단 간 불평등을 허용함으로써 불평등 심화를 방지하지 못함을 입증하기.
• 실제 세계의 데이터 편향을 반영하는 더 현실적인 세계관에 기반한 새로운 공정성 개념을 제안하기.

제안 방법

• Friedler 등이 제시한 이론적 프레임워크를 활용하여, 각기 다른 데이터 편향 가정을 반영하는 세계관 하에서 공정성 정의를 모델링한다.
• 기존 집단 간 불평등이 악화되는지를 평가하기 위해 '불평등 심화'를 기준으로 정의한다.
• 각 세계관 하에서 인구 통계적 평등, 등가된 우도, 예측 평등의 수학적 성질을 분석하여 차별적 영향을 평가한다.
• 역사적 불평등과 측정 오차와 같은 실제 세계의 데이터 편향을 반영하는 새로운 세계관을 도입한다.
• 이 현실적인 세계관에 부합하는 새로운 공정성 기준을 유도하여 불평등 심화에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 어떤 세계관 하에서 인구 통계적 평등과 등가된 우도가 공정성 기준으로 정당화될 수 있는가?
• RQ2 왜 일부 맥락에서는 공정하다고 여겨지지만, 예측 평등은 불평등 심화를 방지하지 못하는가?
• RQ3 실제 세계의 데이터 편향을 반영하는 더 현실적인 세계관을 채택할 경우 도출되는 새로운 공정성 정의는 무엇인가?
• RQ4 데이터 편향에 대한 다양한 가정은 기존의 표준 공정성 정의의 타당성에 어떻게 영향을 미치는가?

주요 결과

• 인구 통계적 평등과 등가된 우도는 특정 유형의 데이터 편향을 가정하는 세계관 하에서 불평등 심화를 방지하기 위해 정당화된다.
• 예측 평등은 임의로 큰 집단 간 불평등을 허용하므로 불평등 심화를 방지하는 데 부적합하다.
• 더 현실적인 세계관에 부합하는 새로운 공정성 개념이 제안되며, 이는 불평등 심화에 대한 더 강력한 보호를 제공한다.
• 본 연구는 공정성 정의는 데이터 편향에 대한 기초 가정에 따라 선택되어야 하며, 보편적으로 적용되어서는 안 된다는 점을 보여준다.