[논문 리뷰] Causal foundations of bias, disparity and fairness

V. A. Traag, L. Waltman|arXiv (Cornell University)|2022. 07. 27.

Social and Intergroup PsychologySocial Sciences인용 수 18

한 줄 요약

이 논문은 편향을 정당화되지 않은 직접적인 인과적 영향으로 정의하고, 불평등을 그러한 편향을 포함하는 직접적 또는 간접적 인과적 영향으로 정의하는 인과적 프레임워크를 제안한다. 구조적 인과 모델을 사용하여 편향과 불평등의 차이를 명확히 하고, 과학 분야의 성별 편향과 경찰 활동에서의 인종 편향과 같은 실제 사례에서 그 역할을 설명하며, 공정성은 데이터만으로는 부족하고 윤리적 판단이 필요하다고 주장한다.

ABSTRACT

The study of biases, such as gender or racial biases, is an important topic in the social and behavioural sciences. However, the literature does not always clearly define the concept. Definitions of bias are often ambiguous or not provided at all. To study biases in a precise manner, it is important to have a well-defined concept of bias. We propose to define bias as a direct causal effect that is unjustified. We propose to define the closely related concept of disparity as a direct or indirect causal effect that includes a bias. Our proposed definitions can be used to study biases and disparities in a more rigorous and systematic way. We compare our definitions of bias and disparity with various criteria of fairness introduced in the artificial intelligence literature. In addition, we discuss how our definitions relate to discrimination. We illustrate our definitions of bias and disparity in two case studies, focusing on gender bias in science and racial bias in police shootings. Our proposed definitions aim to contribute to a better appreciation of the causal intricacies of studies of biases and disparities. We hope that this will also promote an improved understanding of the policy implications of such studies.

연구 동기 및 목표

• 사회 및 행동 과학 분야에서 편향과 불평등에 대한 기존 정의의 모호성과 부정확성을 해결하기 위해.
• 구조적 인과 모델을 사용하여 편향과 불평등을 이해하기 위한 엄밀한 인과적 기반을 마련하기 위해.
• 실증적 인과관계와 정의론적 판단 간의 차이를 명확히 하여 공정성의 윤리적 차원을 명료히 하기 위해.
• 예측 시스템의 피드백 루프가 원래 예측이 편향된 데이터에 기반하더라도 위성적인 불평등을 생성할 수 있음을 보여주기 위해.
• 편향이 인과 경로의 어디에서 기인하는지 특정함으로써 정책 개입이 더 효과적이고 정확한 수정을 가능하게 하기 위해.

제안 방법

• 구조적 인과 모델(СМ)을 사용하여 인과관계를 형식화함으로써, 윤리적으로 정당화되지 않은 직접적 인과적 영향으로 편향을 정의한다.
• X에서 Y로의 어떤 직접적 또는 간접적 인과적 영향이 적어도 하나의 편향을 포함할 경우, 그로 인해 Y가 X에 대해 불공정해지므로 이를 불평등으로 정의한다.
• 대체적 상황 추론을 사용하여 공정성을 평가하고, 인과적 영향과 위성적 상관관계를 구분한다.
• 성별 편향이 있는 학술 채용과 경찰 총격에서의 인종 편향 사례 연구를 통해 실제 시스템에서 편향과 불평등이 어떻게 발생하는지 설명한다.
• AI 문헌에서 제시된 공정성 기준과 제안된 정의를 비교하여, 데이터 중심의 공정성 지표와의 불일치를 드러낸다.
• 예측에 기반한 조치가 피드백 루프를 유도하여 예측을 인과로 전환하고 불평등을 강화함을 강조한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 실증적 인과관계와 정의론적 판단을 구분할 수 있는 방식으로 편향과 불평등을 공식적으로 정의할 수 있는가?
• RQ2 예측 시스템의 피드백 루프가 원래 예측이 편향된 데이터에 기반하더라도, 불평등을 어떻게 재생하거나 증폭시킬 수 있는가?
• RQ3 왜 일반적인 AI 공정성 기준이 제안된 인과적 공정성 정의와 불일치하는가?
• RQ4 편향의 근본 원인이 인과 경로의 어디에 있는지 특정함으로써 정책 개입이 더 효과적으로 작용할 수 있는가?
• RQ5 인과 모델링을 통해 관찰된 차이가 편향, 불평등, 또는 양자가 아닌지 식별하는 데 어느 정도 기여할 수 있는가?

주요 결과

• 편향은 윤리적 평가가 통계 분석을 초월해야 하는 직접적 인과적 영향으로 공식적으로 정의된다.
• 불평등은 적어도 하나의 편향을 포함하는 X에서 Y로의 어떤 인과 경로이면 되며, 그로 인해 X에 대해 결과가 불공정해진다.
• 경찰 총격의 사례에서, 정지 빈도를 입력으로 사용하는 예측 모델은 인종적 불평등이 정지 빈도에 영향을 주고, 그로 인해 인종적으로 편향된 예측이 도출되며, 그 예측이 다시 더 많은 정지를 정당화하는 자기강화 루프를 생성할 수 있다.
• 이 논문은 '예측을 위한 것'이라고 하더라도 AI 시스템이 의사결정에 사용될 경우 인과적 영향을 유도할 수 있으며, 이는 불평등을 심화시키는 피드백 루프를 만들어 낼 수 있음을 보여준다.
• 민족적 평등성이나 동일한 기회와 같은 일반적인 AI 공정성 기준은 제안된 정의와 불일치하며, 편향된 시스템이 균형 잡힌 결과를 낼 경우 공정하다고 분류할 수 있기 때문이다.
• 적절한 인과적 이해가 없이 정책적 조치(예: 긍정적 행동)를 시행할 경우 증상에만 대응하게 되어 원인을 해결하지 못하고 부작용을 초래할 수 있다.