[논문 리뷰] Demographic-Reliant Algorithmic Fairness: Characterizing the Risks of Demographic Data Collection in the Pursuit of Fairness

McKane Andrus, Sarah Villeneuve|arXiv (Cornell University)|2022. 04. 18.

Insurance, Mortality, Demography, Risk Management인용 수 7

한 줄 요약

이 논문은 인구통계 데이터 수집이 알고리즘 정의를 달성하는 데 본질적으로 유익하다는 가정을 도전하며, 이러한 데이터 수집이 체계적 억압을 강화하고 감시를 가능하게 하며 소수자 정체성을 잘못 대변할 위험을 지닌다고 주장한다. 연구는 개인정보 보호 기반 데이터 수집과 참여형 거버넌스 모델을 제안하여 피해를 완화하면서도 AI 시스템의 정의를 향상시키는 윤리적인 대안을 모색한다.

ABSTRACT

Most proposed algorithmic fairness techniques require access to data on a "sensitive attribute" or "protected category" (such as race, ethnicity, gender, or sexuality) in order to make performance comparisons and standardizations across groups, however this data is largely unavailable in practice, hindering the widespread adoption of algorithmic fairness. Through this paper, we consider calls to collect more data on demographics to enable algorithmic fairness and challenge the notion that discrimination can be overcome with smart enough technical methods and sufficient data alone. We show how these techniques largely ignore broader questions of data governance and systemic oppression when categorizing individuals for the purpose of fairer algorithmic processing. In this work, we explore under what conditions demographic data should be collected and used to enable algorithmic fairness methods by characterizing a range of social risks to individuals and communities. For the risks to individuals we consider the unique privacy risks associated with the sharing of sensitive attributes likely to be the target of fairness analysis, the possible harms stemming from miscategorizing and misrepresenting individuals in the data collection process, and the use of sensitive data beyond data subjects' expectations. Looking more broadly, the risks to entire groups and communities include the expansion of surveillance infrastructure in the name of fairness, misrepresenting and mischaracterizing what it means to be part of a demographic group or to hold a certain identity, and ceding the ability to define for themselves what constitutes biased or unfair treatment. We argue that, by confronting these questions before and during the collection of demographic data, algorithmic fairness methods are more likely to actually mitigate harmful treatment disparities without reinforcing systems of oppression.

연구 동기 및 목표

• 알고리즘 정의를 위한 인구통계 데이터 수집과 관련된 사회적 및 체계적 위험을 검토하기 위해.
• 인종, 성별, 성적 지향에 대한 더 많은 데이터가 자동으로 더 공정한 AI 시스템을 만들어낸다는 가정을 도전하기 위해.
• 개인의 개인정보 유출 및 오분류와 같은 위험과 공동체 수준의 감시 확대 및 집단 오용과 같은 위험을 특정하기 위해.
• 현재 관행의 윤리적인 대안으로 참가자 중심의 데이터 거버넌스와 개인정보 중심의 데이터 수집을 옹호하기 위해.
• 소수자 공동체가 정의와 데이터 거버넌스를 정의하는 데 중심이 되는 책임감 있는 인구통계 데이터 사용을 위한 프레임워크를 제공하기 위해.

제안 방법

• 인종, 성별, 성적 지향 등의 인구통계 데이터에 의존하는 기존 알고리즘 정의 기법을 분석하여 집단 간 성과를 비교한다.
• 개인의 위험, 즉 개인정보 침해, 정체성 오용, 동의를 초월한 데이터 오용 등을 식별하고 분류한다.
• 감시 인프라 확장 및 억압적 분류 체계 강화와 같은 공동체 수준의 위험을 탐색한다.
• 차별적 개인정보 보호 기법과 연방 학습과 같은 기술을 평가하여 민감한 속성의 노출을 줄인다.
• 소수자 공동체가 자신의 정체성을 정의하고 데이터 사용을 통제할 수 있도록 하는 참가자 중심의 데이터 거버넌스 모델(예: 데이터 협동조합, 신뢰 기반 구조)을 제안한다.
• 비판적 인종 이론과 자치적 인디언 데이터 주권 이론을 활용하여 공동체 자결권에 기반한 윤리적 데이터 거버넌스를 정립한다.

실험 결과

연구 질문

• RQ1 알고리즘 정의를 위해 인구통계 데이터를 수집하는 것이 윤리적으로 정당화될 수 있는 조건은 무엇인가?
• RQ2 민감한 속성(예: 인종 또는 성별)이 수집될 경우 개인정보 위험과 오분류가 개인에게 어떤 방식으로 피해를 줄 수 있는가?
• RQ3 인구통계 데이터 수집이 공동체 수준에서 감시를 확대하고 체계적 억압을 강화하는 방식은 무엇인가?
• RQ4 참여형 거버넌스 모델은 어떻게 소수자 집단이 정의를 정의하고 자신의 데이터를 통제할 수 있도록 지원하는가?
• RQ5 중앙 집중식 인구통계 데이터에 의존하지 않고도 정의를 책임감 있게 실현하기 위해 필요한 기술적 및 제도적 메커니즘은 무엇인가?

주요 결과

• 정의를 위해 인구통계 데이터를 수집한다고 해서 반드시 차별을 줄이는 것은 아니며, 감시와 오용을 통해 체계적 불평등을 더욱 심화시킬 수 있다.
• 민감한 속성(예: 인종 또는 성별)이 수집될 경우, 특히 원래 동의를 초월해 데이터가 공유될 경우 개인의 개인정보 위험이 증가한다.
• 정체성의 오분류 및 오용은 엄격한 분류 체계가 교차 정체성을 반영하지 못할 경우 특히 배제나 낙인을 초래할 수 있다.
• 감시 인프라는 데이터 주체를 넘어서 전체 공동체에 영향을 미칠 수 있으며, 일부의 데이터가 다른 이들의 프로파일링을 가능하게 하면 더욱 그렇다.
• 참여형 거버넌스 모델, 예를 들어 데이터 협동조합과 자치적 인디언 데이터 주권 프레임워크는 공동체가 자신의 정체성을 정의하고 데이터 사용을 통제할 수 있도록 한다.
• 차등적 개인정보 보호와 연방 학습과 같은 개인정보 보호 기법은 민감한 데이터의 노출을 줄이면서도 여전히 정의 평가를 지원할 수 있다.