[논문 리뷰] FairTest: Discovering Unwarranted Associations in Data-Driven Applications

Florian Tramèr, Vaggelis Atlidakis외 6명|arXiv (Cornell University)|2015. 10. 08.

Ethics and Social Impacts of AI참고 문헌 47인용 수 23

한 줄 요약

FairTest는 보호되는 특성(예: 인종, 성별)과 알고리즘 결과 간 통계적으로 유의미하고 설명되지 않은 연관성(Unwarranted Associations, UA)을 식별함으로써 데이터 기반 응용 프로그램에서 부당하거나 차별적 또는 모욕적인 대응을 탐지하는 원칙적인 방법론을 도입한다. 이 프레임워크는 사용자 하위군을 중심으로 차별적 영향을 확장 가능하고 통계적으로 엄밀하게 탐지할 수 있으며, 혼동 요인을 배제하기 위한 디버깅 기능도 포함되어 있으며, 의료, 가격 설정, 이미지 태깅 시스템에서의 편향을 실제 사례로 검증하였다.

ABSTRACT

In a world where traditional notions of privacy are increasingly challenged by the myriad companies that collect and analyze our data, it is important that decision-making entities are held accountable for unfair treatments arising from irresponsible data usage. Unfortunately, a lack of appropriate methodologies and tools means that even identifying unfair or discriminatory effects can be a challenge in practice. We introduce the unwarranted associations (UA) framework, a principled methodology for the discovery of unfair, discriminatory, or offensive user treatment in data-driven applications. The UA framework unifies and rationalizes a number of prior attempts at formalizing algorithmic fairness. It uniquely combines multiple investigative primitives and fairness metrics with broad applicability, granular exploration of unfair treatment in user subgroups, and incorporation of natural notions of utility that may account for observed disparities. We instantiate the UA framework in FairTest, the first comprehensive tool that helps developers check data-driven applications for unfair user treatment. It enables scalable and statistically rigorous investigation of associations between application outcomes (such as prices or premiums) and sensitive user attributes (such as race or gender). Furthermore, FairTest provides debugging capabilities that let programmers rule out potential confounders for observed unfair effects. We report on use of FairTest to investigate and in some cases address disparate impact, offensive labeling, and uneven rates of algorithmic error in four data-driven applications. As examples, our results reveal subtle biases against older populations in the distribution of error in a predictive health application and offensive racial labeling in an image tagger.

연구 동기 및 목표

• 의도하지 않은 알고리즘 편향으로 인해 발생하는 데이터 기반 응용 프로그램에서의 부당하거나 차별적인 대응 증가 문제를 해결하기 위해.
• 적용 가능성, 세분성, 유용성을 고려하여 이전의 공정성 정의를 통합하고 합리화하는 원칙적인 프레임워크를 도입하기 위해.
• 개발자가 실제 시스템에서 부당한 연관성을 탐지하고 디버깅하며 감사를 수행할 수 있도록 실용적이고 확장 가능한 도구를 개발하기 위해.
• 알고리즘 책임성에 대한 규제 및 윤리적 요구를 충족하기 위해 체계적인 공정성 테스팅 방법을 제공하기 위해.
• 기존의 글로벌 공정성 지표나 이전 접근 방식에서 놓치기 쉬운 미세한, 하위군 중심의 편향을 드러내기 위해.

제안 방법

• Unwarranted Associations (UA) 프레임워크는 보호되는 특성과 알고리즘 출력 간에 설명 가능한 요인 없이 강력하고 통계적으로 유의미한 종속성이 존재할 경우, 이를 '연관성 버그'로 정의한다.
• 이 프레임워크는 p-값과 정규화된 상호정보량(Normalized Mutual Information, NMI)과 같은 다수의 공정성 지표를 통합하여 통계적 유의성과 연관성 강도를 평가한다.
• FairTest는 세 가지 요소로 구성된 조사 모델을 활용한다: (1) 연관성 탐지, (2) 의심되는 편향 검증, (3) 하위집단 간 알고리즘 오류 분석을 위한 오류 프로파일링.
• 특정 맥락에 맞는 필터링(예: 연령, 직업 유형, 교육 수준)을 허용함으로써 세분화된 하위군 분석을 지원하여 특정 사용자 세그먼트에서 숨겨진 편향을 드러낸다.
• 합리적인 설명 요인을 배제하기 위해 혼동 요인 분석을 통합함으로써 진단 정확도를 향상시킨다.
• FairTest는 통계적 가설 검정을 사용하여 연관성을 평가함으로써 다양한 데이터 유형과 응용 프로그램에서 엄밀하고 재현 가능한 결과를 확보한다.

실험 결과

연구 질문

• RQ1 데이터 기반 응용 프로그램에서 알고리즘 결과와 보호되는 특성 간에 체계적으로 부당하거나 차별적인 연관성을 어떻게 탐지할 수 있는가?
• RQ2 어떤 방법론적 프레임워크가 사용자 하위군을 중심으로 확장 가능하고 통계적으로 엄밀하며 세분화된 차별적 영향을 탐지할 수 있는가?
• RQ3 불필요한 연관성과 합리적인 유용성 요인 또는 혼동 요인에 의해 설명 가능한 연관성을 어떻게 구분할 수 있는가?
• RQ4 FairTest와 같은 도구가 실제 데이터 기반 시스템에서 공정성 감사 및 디버깅을 어떻게 향상시킬 수 있는가?
• RQ5 UA 프레임워크를 사용하여 표준 벤치마크 데이터셋에서 기존에 발견되지 않은 새로운 편향을 어떤 방식으로 드러낼 수 있는가?

주요 결과

• FairTest는 Adult Income 데이터셋에서 42세 미만, 주 55시간 미만으로 일하는 연방 정부 소속 직원 하위집단에서 인종에 따른 심각한 차별적 영향을 탐지하였으며, 이 중 91%의 흑인 개인이 연봉 5만 달러 미만이었고(p-value = 3.24e-3, NMI = 0.1310), 이는 통계적으로 유의미하였다.
• 동일한 데이터셋에서 FairTest는 연령 ≥47세, 교육 연수 9~11년인 고령이면서 교육 수준이 낮은 개인들 사이에서 성별 편향을 드러내었으며, 여성의 88%가 저소득이었고 남성은 56%였으며(p-value = 2.23e-35, NMI = 0.1442), 이 역시 통계적으로 유의미하였다.
• FairTest는 예측 의료 응용 프로그램에서 이전에 보고되지 않은 편향을 발견하였으며, 이는 고령층에 영향을 주는 미세하지만 통계적으로 유의미한 오류율 격차를 보였다.
• 이미지 태깅 시스템에서 FairTest는 모욕적인 인종 레이블링을 확인하였으며, 이러한 편향이 고립된 사례가 아니라 데이터 기반 모델에서 널리 퍼져 있는 체계적 문제임을 입증하였다.
• 스태플스에서의 온라인 가격 설정 시스템에서 FairTest는 저소득 사용자에게 예상치 못한 편향이 더 높게 존재함을 확인하였으며, 이는 이전 보고된 결과를 확인하였고(p-value = 1.39e-53 for race, NMI = 0.0139), 이 역시 통계적으로 유의미하였다.
• FairTest의 맥락 고립 능력은 일부 가장 강력한 편향이 작은 특정 하위집단에 집중되어 있음을 드러내었으며, 이는 글로벌 지표보다 세분화된 분석의 중요성을 강조한다.