[논문 리뷰] "What We Can't Measure, We Can't Understand": Challenges to Demographic Data Procurement in the Pursuit of Fairness

McKane Andrus, Elena Spitzer외 2명|arXiv (Cornell University)|2020. 10. 30.

Ethics and Social Impacts of AI참고 문헌 56인용 수 20

한 줄 요약

이 논문은 알고리즘 공정성에 있어 인구통계 데이터 확보 과정에서 실무자들이 겪는 실질적 과제를 조사하며, 법적, 윤리적, 기술적 장벽이 필요성에도 불구하고 접근을 어렵게 만들 수 있음을 드러낸다. 단순히 데이터 수집 장벽을 낮추는 것에 반대하여, 직접적인 인구통계 수집에 의존하지 않고도 윤리적으로 공정성 평가 및 완화를 위한 범용 프레임워크와 포괄적 관행을 도입할 것을 주장한다.

ABSTRACT

As calls for fair and unbiased algorithmic systems increase, so too does the number of individuals working on algorithmic fairness in industry. However, these practitioners often do not have access to the demographic data they feel they need to detect bias in practice. Even with the growing variety of toolkits and strategies for working towards algorithmic fairness, they almost invariably require access to demographic attributes or proxies. We investigated this dilemma through semi-structured interviews with 38 practitioners and professionals either working in or adjacent to algorithmic fairness. Participants painted a complex picture of what demographic data availability and use look like on the ground, ranging from not having access to personal data of any kind to being legally required to collect and use demographic data for discrimination assessments. In many domains, demographic data collection raises a host of difficult questions, including how to balance privacy and fairness, how to define relevant social categories, how to ensure meaningful consent, and whether it is appropriate for private companies to infer someone's demographics. Our research suggests challenges that must be considered by businesses, regulators, researchers, and community groups in order to enable practitioners to address algorithmic bias in practice. Critically, we do not propose that the overall goal of future work should be to simply lower the barriers to collecting demographic data. Rather, our study surfaces a swath of normative questions about how, when, and whether this data should be procured, and, in cases where it is not, what should still be done to mitigate bias.

연구 동기 및 목표

• 실무자들이 알고리즘 공정성 평가를 위해 인구통계 데이터를 확보하는 데 마주하는 실제 과제를 이해하는 것.
• 산업계 및 연구 분야에서 인구통계 데이터 사용에 영향을 미치는 윤리적, 법적, 기술적 제약 조건을 검토하는 것.
• 직접적인 인구통계 데이터 수집을 대체할 수 있는 대안적 공정성 평가 방법(예: 대체 지표, 추론, 제3자 감사 등)의 효과성을 평가하는 것.
• 데이터 개인정보 보호 규정과 차별 금지 법률이 실무에서 공정성 측정과 어떻게 상호작용하는지 탐색하는 것.
• 데이터 주체가 공정성 프로세스에서 수행하는 역할과 직접적인 인구통계 데이터 수집에 의존하지 않는 포용적이고 동의 기반의 데이터 수집 모델의 실현 가능성 평가

제안 방법

• 알고리즘 공정성과 관련된 분야에서 일하거나 그와 밀접한 관계를 맺고 있는 38명의 실무자 및 전문가를 대상으로 반구조화된 인터뷰를 실시하였다.
• 다양한 분야에서의 실무자 경험을 분석하여 인구통계 데이터의 가용성과 사용 범위를 맵핑하는 데 초점을 맞췄다.
• GDPR 및 미국의 차별 금지법과 같은 법적 및 규제 프레임워크를 데이터 확보와 연계하여 분석하였다.
• 차별적 개인정보 보호 기법, 암호화 기법, 제3자 데이터 처리와 같은 개인정보 보호 기반 대안을 평가하였다.
• 중앙 집중식 인구통계 데이터 없이도 공정성 분석을 가능하게 하는 분산형 접근 방식(예: 피어 페어드 러닝)을 평가하였다.
• 공정성 평가를 위한 윤리적 데이터 사용을 형성하는 데 있어 데이터 주체의 동의와 지역 사회 참여의 역할을 분석하였다.

실험 결과

연구 질문

• RQ1 알고리즘 공정성 평가를 위해 인구통계 데이터에 접근하는 데 실무자들이 마주하는 주요 장애 요소는 무엇인가?
• RQ2 GDPR와 같은 법적 및 규제 프레임워크는 공정성 작업에서 인구통계 데이터의 수집 및 사용에 어떻게 영향을 미치는가?
• RQ3 차별적 개인정보 보호 기법(예: 차별적 개인정보 보호)이나 제3자 데이터 처리와 같은 개인정보 보호 기반 기법이 직접적인 인구통계 데이터 수집을 얼마나 효과적으로 대체할 수 있는가?
• RQ4 실무자들은 인구통계 데이터 수집 시 동의, 대표성, 집단의 부각도 등의 윤리적 고려 사항을 어떻게 다루는가?
• RQ5 전통적인 인구통계 데이터 수집에 의존하지 않고도 데이터 주체와 지역 사회 이해관계자가 공정성 평가 프로세스를 어떻게 형성할 수 있는가?

주요 결과

• 법적 제한, 개인정보 우려, 조직 정책로 인해 많은 실무자들이 인구통계 데이터에 접근하지 못하는 데, 이는 편향 탐지에 필수적일지라도 그렇다.
• GDPR와 같은 법적 프레임워크는 종종 인구통계 데이터 사용을 제한하지만, 일부 지역(예: 영국)은 특정 공정성 감사 조건 하에서의 사용을 허용하는 지침을 발표한 바 있다.
• 추론, 대체 지표, 후행적 집단 식별과 같은 대안적 방법은 직접 데이터 수집을 줄일 수 있지만, 오용 표현 위험과 공정성 정확도 저하의 위험을 수반한다.
• 제3자 데이터 수집 및 개인정보 보호 기법(예: 차별적 개인정보 보호)은 책임 소재를 이동시킬 수는 있으나, 데이터의 부각도와 집단 대표성에 대한 핵심 윤리적 질문을 해결하지 못한다.
• 실무자들은 데이터 신뢰성, 동의, 잘못된 인구통계 분류로 인해 체계적 편향이 강화될 가능성에 대해 우려를 표명하고 있다.
• 데이터 주체와 지역 사회의 참여는 데이터의 관련성과 윤리적 책임을 향상시킬 수 있으나, 이러한 모델은 복잡하고 구현에 비용이 많이 든다.