[논문 리뷰] The Impossibility Theorem of Machine Fairness -- A Causal Perspective

Kailash Karthik Saravanakumar|arXiv (Cornell University)|2020. 07. 12.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 예측 변수와 민감 속성 간의 관계를 분리하면서도 공정성 목표를 유지하는 보정 변수를 도입하여 기계 공정성의 불가능성 정리 문제를 해결하는 인과적 프레임워크를 제시한다. 이 메커니즘 하에서 인구 구성비 균형과 동일한 기회가 동시에 달성될 수 있음을 보여주며, 공정성과 정확도 사이의 상충관계가 반드시 존재하지는 않는다는 기존의 견해에 도전한다.

ABSTRACT

With the increasing pervasive use of machine learning in social and economic settings, there has been an interest in the notion of machine bias in the AI community. Models trained on historic data reflect biases that exist in society and propagated them to the future through their decisions. There are three prominent metrics of machine fairness used in the community, and it has been shown statistically that it is impossible to satisfy them all at the same time. This has led to an ambiguity with regards to the definition of fairness. In this report, a causal perspective to the impossibility theorem of fairness is presented along with a causal goal for machine fairness.

연구 동기 및 목표

• 인구 구성비 균형, 동일한 기회, 예측 정확도라는 세 가지 주요 공정성 지표 간의 상호배타성 문제를 해결하여 기계 공정성에 대한 오랫동안 지속된 애매함을 해소하고자 한다.
• 공정성이 모델 정확도와 반드시 상충된다는 기존의 견해에 도전하기 위해, 공정성을 통계적 제약 조건이 아닌 인과적 간섭으로 재정의하고자 한다.
• 진정한 레이블이 예측에 미치는 영향을 선택적으로 수정함으로써 역사를 거슬러 올라간 편향을 수정하는 보정 변수 C를 통한 인과적 메커니즘을 제안하고자 한다.
• 공정성 지표를 인과적 관점에서 재해석함으로써, 통합된 프레임워크 하에서 인구 구성비 균형과 동일한 기회가 공존할 수 있음을 보여주고자 한다.
• 데이터 기반 校정을 넘어서 의도적이고 공정성 중심의 보정을 포함하는 기계 학습 모델의 편향 제거를 위한 이론적 기반을 제공하고자 한다.

제안 방법

• 진정한 레이블(Y)에 의존할지 또는 오직 보호 대상 속성(A)에 의존할지 제어하는 게이트 역할을 하는 보정 변수 C를 도입한다. 이를 위한 구조 방정식은 $\hat{Y} = g_{\text{classifier}}(Y)$ if $C=1$, else $g_{\text{fairness}}(A)$ if $C=0$ 이다.
• C가 Y에서 $\hat{Y}$로의 직접적인 인과적 경로를 차단하면서도 A가 C에 영향을 미치도록 하여, 통제된 편향 보정이 가능하도록 하는 인과 다이어그램을 사용해 데이터 생성 과정을 모델링한다.
• 공정성 지표를 조건부 독립 제약 조건으로 재해석한다: $\hat{Y} \perp\!\!\!\perp A \mid C=0$ 는 인구 구성비 균형을, $\hat{Y} \perp\!\!\!\perp A \mid Y, C$ 는 동일한 기회를 의미한다.
• C가 0 또는 1인 확률을 조정 가능한 하이퍼파라미터로 간주하여, 공정성과 데이터 무결성 사이의 균형을 맞추는 데 사용한다. 이는 에프실론-그리디 전략과 유사하다.
• 모델 校정에 대한 제약 조건이 아니라 데이터 생성 과정에 대한 구조적 간섭으로서 공정성을 재정의함으로써, 정확도를 희생시키지 않고도 공정성을 달성할 수 있도록 한다.
• 특히 취약 집단에서 역사적 편향을 수정하는 데 목적이 있으므로, 예측 정확도를 강제로 시행하는 것은 바람직하지 않으며, 이는 공정성 목표와 배치된다.

실험 결과

연구 질문

• RQ1 인구 구성비 균형, 동일한 기회, 예측 정확도라는 세 가지 주요 공정성 지표가 하나의 데이터 생성 과정에서 동시에 공존할 수 있는가?
• RQ2 왜 기존의 공정성을 정확도와의 상충 관계로 보는 시각이 인과적 관점에서 문제가 되는가?
• RQ3 역사적 편향을 수정하면서도 예측 성능을 훼손하지 않도록 기계 학습 모델을 어떻게 수정할 수 있는가?
• RQ4 어떤 인과적 메커니즘이 기존에 상호 배타적인 인구 구성비 균형과 동일한 기회가 공존하도록 할 수 있는가?
• RQ5 체계적 편향이 존재하는 맥락에서 왜 예측 정확도를 공정성 목표로 삼는 것이 거부되어야 하는가?

주요 결과

• 공정성의 불가능성 정리는 하나의 데이터 생성 과정이 동시에 인구 구성비 균형, 동일한 기회, 예측 정확도라는 세 가지 공정성 지표를 만족시킬 수 없다는 데서 기인한다.
• 보정 변수 C의 도입으로, C 조건 하에서 인구 구성비 균형과 동일한 기회가 공존할 수 있으며, 이는 인과적 프레임워크 하에서 상호 배타성 문제가 해결됨을 의미한다.
• 진정한 레이블 Y가 보호 대상 속성 A에 인과적으로 영향을 받는 경우, 즉 역사적 편향이 존재하는 경우, 예측 정확도를 달성할 수 없다.
• 인과적 프레임워크는 공정성을 통계적 제약 조건이 아닌 구조적 간섭으로 재정의함으로써, 정확도를 희생시키지 않고도 공정성을 달성할 수 있음을 보여준다.
• 보정 메커니즘은 C가 0 또는 1일 확률을 조정하여 데이터 기반 예측에서의 이격 정도를 조절할 수 있도록 하여, 공정성과 무결성 사이의 트레이드오프를 가능하게 한다.
• 모델는 공정성을 예측에 대한 통계적 제약 조건이 아닌 인과적 보정으로 재정의할 경우, 공정성과 정확도가 본질적으로 충돌하지 않음을 보여준다.