[논문 리뷰] Discovering Unwarranted Associations in Data-Driven Applications with the FairTest Testing Toolkit

Florian Tramèr, Vaggelis Atlidakis외 6명|arXiv (Cornell University)|2015. 10. 08.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 18

한 줄 요약

FairTest는 알고리즘 출력물(예: 가격, 레이블)과 차별받는 사용자 하위집단(예: 인종 또는 성별) 간의 통계적으로 유의미하고 불필요한 연관성을 탐지하는 테스팅 툴킷이다. 이는 알려진 설명 변수를 보정하면서 연관성의 강도에 따라 정렬함으로써 차별적 가격 책정이나 모욕적인 레이블링과 같은 편향을 식별하며, 실제 데이터 기반 응용 프로그램에서의 미세한 연령 기반 오류 및 인종 레이블링 문제를 성공적으로 탐지하는 데에 활용되었다.

ABSTRACT

In today's data-driven world, programmers routinely incorporate user data into complex algorithms, heuristics, and application pipelines. While often beneficial, this practice can have unintended and detrimental consequences, such as the discriminatory effects identified in Staples' online pricing algorithm and the racially offensive labels recently found in Google's image tagger. We argue that such effects are bugs that should be tested for and debugged in a manner similar to functionality, performance, and security bugs. We describe FairTest, a testing toolkit that detects unwarranted associations between an algorithm's outputs (e.g., prices or labels) and user subpopulations, including protected groups (e.g., defined by race or gender). FairTest reports any statistically significant associations to programmers as potential bugs and ranks them by their strength while accounting for known explanatory factors. We designed FairTest for ease of use by programmers and integrated it into the evaluation framework of SciPy, a popular library for data analytics. We used FairTest experimentally to identify unfair disparate impact, offensive labeling, and disparate rates of algorithmic error in six applications and datasets. As examples, our results reveal subtle biases against older populations in the distribution of error in a real predictive health application, and offensive racial labeling in an image tagger.

연구 동기 및 목표

• 알고리즘 출력물과 보호 그룹(예: 인종 또는 성별) 간의 숨겨진 연관성으로 인해 발생하는 데이터 기반 응용 프로그램에서의 의도치 않은 차별적 또는 모욕적인 결과의 증가하는 위험을 다루기 위해.
• 이러한 연관성을 기능적, 성능적, 보안적 버그와 유사하게 간주하여 체계적인 탐지 및 디버깅이 필요하다는 점을 인식하기 위해.
• 기존 데이터 과학 워크플로우(예: SciPy 평가 프레임워크)에 통합 가능한 실용적이고 프로그래머 우호적인 테스팅 툴킷을 제공하기 위해.
• 실제 응용 프로그램에서 인구 통계 집단 간의 차별적 영향, 모욕적인 레이블링, 비균형 오류 비율을 탐지하고 보고하기 위해.
• 연관성 평가 시 알려진 설명 변수를 고려하여, 탐지된 편향이 합리적인 상관관계의 반영일 뿐이지 불필요한 편향이 아님을 보장하기 위해.

제안 방법

• FairTest는 알고리즘 출력물과 사용자 하위집단(예: 인종 또는 성별과 같은 속성에 의해 정의되는 보호 그룹 포함) 간의 유의미한 연관성을 통계적 가설 검정을 통해 탐지한다.
• 검출된 연관성을 강도 순으로 정렬하기 위해 p-값 보정 및 효과 크기 추정을 적용함으로써 가장 심각한 잠재적 편향을 우선순위에 올린다.
• 분석 중에 알려진 설명 변수(예: 연령, 위치)를 조건으로 삼아 이에 따라 보정함으로써 합리적인 상관관계에서 불필요한 연관성을 분리한다.
• 기존 데이터 분석 파이프라인에 원활하게 통합할 수 있도록 SciPy 평가 프레임워크의 플러그인으로 구현되어 있다.
• FairTest는 다양한 형태의 부정확성을 탐지하기 위해 이심적 영향, 레이블링의 모욕성, 비균형 오류 비율 등의 여러 지표를 통해 연관성을 평가한다.
• 명확한 우선순위를 부여하여 결과를 보고함으로써 개발자가 체계적으로 탐지된 편향을 디버깅하고 완화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 실제 데이터 기반 응용 프로그램에서 알고리즘 출력물과 보호 하위집단 간의 불필요한 연관성을 체계적인 테스팅 접근법이 탐지할 수 있는가?
• RQ2 이러한 연관성을 알려진 설명 변수를 보정하면서 통계적 강도에 따라 정렬할 수 있는가?
• RQ3 FairTest와 같은 테스팅 툴킷이 연령 기반 오류 격차나 모욕적인 레이블링과 같은 이전에 발견되지 않은 미세한 편향을 어느 정도 탐지할 수 있는가?
• RQ4 FairTest는 다양한 데이터 응용 프로그램에서 이심적 영향과 알고리즘 오류 비율을 탐지하는 데 얼마나 효과적인가?
• RQ5 FairTest는 기존 데이터 과학 워크플로우에 통합될 수 있는가? 이 과정에서 기존 개발 관행을 방해하지 않는가?

주요 결과

• FairTest는 실제 예측 건강 응용 프로그램의 오류 분포에서 노인 인구 집단에 대한 미세한, 이전에 발견되지 않은 편향을 성공적으로 식별했다.
• 이 툴킷은 이미지 태깅 시스템에서 모욕적인 인종 레이블링을 탐지하여 자동 콘텐츠 분석에서 중요한 공정성 문제를 드러냈다.
• 온라인 가격 설정 알고리즘에서 이심적 영향이 드러나, 이러한 편향이 인구 통계 요소를 고려하도록 설계되지 않은 시스템에서도 발생할 수 있음을 입증했다.
• FairTest는 하위집단 간 알고리즘 오류 비율의 불균형을 탐지하여 모델 성능에 대한 체계적인 격차가 있음을 시사했다.
• FairTest가 SciPy 평가 프레임워크에 통합되어 실제 데이터 분석 워크플로우에서 실용적이고 확장 가능한 방식으로 사용될 수 있었다.
• 통계적 강도에 따라 연관성을 정렬하고 알려진 요소를 보정함으로써 FairTest는 개발자가 가장 심각한 공정성 문제부터 우선순위를 정하고 디버깅할 수 있도록 했다.