[논문 리뷰] Impartial Predictive Modeling: Ensuring Group Fairness in Arbitrary Models

Kory D. Johnson, Dean P. Foster외 1명|arXiv (Cornell University)|2016. 08. 01.

Ethics and Social Impacts of AI참고 문헌 32인용 수 18

한 줄 요약

이 논문은 민감한 특성들을 공정성 없는 공변량으로 간주함으로써 군집 공정성을 보장하는 예측 모델링 프레임워크를 제안한다. 이는 회귀 분해를 통해 부분 데이터 설정에서 보수적인 추정을 가능하게 하며, 설명 가능한 변동성과 차별을 구분함으로써 예측과 공정성 목표를 분리한다. 이는 임의의 모델에 대해 보편적으로 적용 가능한 사후 보정을 가능하게 한다.

ABSTRACT

Fairness aware data mining (FADM) aims to prevent algorithms from discriminating against protected groups. The literature has come to an impasse as to what constitutes explainable variability as opposed to discrimination. We demonstrate that fairness is achieved by ensuring \emph{impartiality} with respect to sensitive characteristics and provide a framework for impartiality by accounting for different perspectives on the data generating process. In particular, fairness can only be precisely defined in a full-data scenario in which all covariates are observed. We then analyze how these models may be conservatively estimated via regression in partial-data settings. Decomposing the regression estimates provides insights into previously unexplored distinctions between explainable variability and discrimination. This framework yields a set of impartial estimates that are applicable in a wide variety of situations and post-processing tools to correct estimates from arbitrary models. This effectively separates prediction and fairness goals.

연구 동기 및 목표

• 기계학습에서의 공정성 정의에 대한 모호함, 특히 설명 가능한 변동성과 실제 차별 사이의 혼동을 해결하기 위해.
• 모든 공변량이 관측되는 완전한 데이터 상황에서 민감한 특성에 대한 편향 없음을 기반으로 한 공정성의 형식적 정의를 수립하기 위해.
• 일부 공변량이 관측되지 않을 경우(부분 데이터 설정) 공정한 모델을 보수적으로 추정하는 방법을 개발하기 위해.
• 이전에 탐색되지 않은 바에 비해 설명 가능한 변동성과 차별 사이의 구분을 드러내기 위해 회귀 추정치를 분해하기 위해.
• 재학습 없이도 보편적으로 적용 가능한 보정 도구를 제공함으로써 보편적인 모델에 대해 예측을 수정하고 보호 그룹 간의 공정성을 유지하기 위해.

제안 방법

• 민감한 특성에 대한 편향 없음을 기준으로 공정성을 정의하며, 이를 보정 대상이 아닌 공변량으로 간주한다.
• 모든 공변량, 민감한 특성까지 포함하여 관측되고 공동으로 모델링되는 완전한 데이터 설정에서 공정성을 형식화한다.
• 회귀 분해를 사용하여 민감한 특성이 예측에 어떤 기여를 하는지 분석함으로써, 설명 가능한 변동성과 차별의 역할을 분리한다.
• 일부 공변량이 관측되지 않을 경우에 대비해 보수적인 추정 기법을 제안함으로써 불확실성 하에서 공정성이 유지되도록 보장한다.
• 민감한 특성이 모델에 포함되었는지 여부에 관계없이 변하지 않는 공정한 추정치를 유도함으로써 사후 보정을 가능하게 한다.
• 재학습 없이도 보편적인 모델에 대해 예측을 조정하여 보호 그룹 간의 공정성을 보장하는 사후 보정 도구를 설계한다.

실험 결과

연구 질문

• RQ1 모든 공변량, 민감한 특성까지 포함하여 데이터에서 관측될 경우, 공정성은 어떻게 정확히 정의할 수 있는가?
• RQ2 예측 모델에서 민감한 특성에 기인한 설명 가능한 변동성과 실제 차별 사이의 차이는 무엇인가?
• RQ3 일부 공변량이 관측되지 않거나 부분적으로 관측될 경우, 공정한 모델은 어떻게 보수적으로 추정할 수 있는가?
• RQ4 회귀 분해가 공정성과 설명 가능한 변동성 사이의 이전에 숨겨졌던 차이를 어떻게 드러내는가?
• RQ5 보편적으로 적용 가능한 사후 보정 도구를 사용하여 임의의 모델의 예측을 수정하고 보호 그룹 간의 공정성을 확보할 수 있는가?

주요 결과

• 모든 공변량이 관측되는 완전한 데이터 맥락에서 공정성은 민감한 특성에 대한 편향 없음을 통해 가장 잘 정의된다.
• 회귀 분해는 민감한 특성에 기인한 일부 변동성이 설명 가능하며 차별적이지 않음을 드러내어 이전의 모호함을 해결한다.
• 관측되지 않은 공변량을 고려함으로써 이 프레임워크는 부분 데이터 설정에서 공정한 모델을 보수적으로 추정할 수 있다.
• 이 프레임워크에서 유도된 사후 보정 도구는 임의의 모델에서의 예측을 수정하여 군집 공정성을 달성할 수 있다.
• 예측과 공정성 목표를 분리함으로써 재학습 없이도 모델에 종속되지 않는 탄력적인 공정성 보정이 가능하다.
• 이 방법은 모델 출력물에서 합리적인 변동성과 불공정한 편향을 구분할 수 있는 원칙적인 방법을 제공한다.