[논문 리뷰] AI Fairness 360: An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias

Rachel Bellamy, Kuntal Dey외 16명|arXiv (Cornell University)|2018. 10. 03.

Ethics and Social Impacts of AI참고 문헌 18인용 수 265

한 줄 요약

오픈소스 파이썬 툴킷인 AI Fairness 360 (AIF360)을 소개합니다. 이 툴킷은 편향 탐지 메트릭, 설명 및 완화 알고리즘, 그리고 산업용 사용성 및 벤치마킹을 위한 대화형 웹 UI를 제공합니다.

ABSTRACT

Fairness is an increasingly important concern as machine learning models are used to support decision making in high-stakes applications such as mortgage lending, hiring, and prison sentencing. This paper introduces a new open source Python toolkit for algorithmic fairness, AI Fairness 360 (AIF360), released under an Apache v2.0 license {https://github.com/ibm/aif360). The main objectives of this toolkit are to help facilitate the transition of fairness research algorithms to use in an industrial setting and to provide a common framework for fairness researchers to share and evaluate algorithms. The package includes a comprehensive set of fairness metrics for datasets and models, explanations for these metrics, and algorithms to mitigate bias in datasets and models. It also includes an interactive Web experience (https://aif360.mybluemix.net) that provides a gentle introduction to the concepts and capabilities for line-of-business users, as well as extensive documentation, usage guidance, and industry-specific tutorials to enable data scientists and practitioners to incorporate the most appropriate tool for their problem into their work products. The architecture of the package has been engineered to conform to a standard paradigm used in data science, thereby further improving usability for practitioners. Such architectural design and abstractions enable researchers and developers to extend the toolkit with their new algorithms and improvements, and to use it for performance benchmarking. A built-in testing infrastructure maintains code quality.

연구 동기 및 목표

• 머신러닝에서 공정성 메트릭과 완화 기법에 대한 이해를 촉진한다.
• 연구자와 산업계가 공정성 알고리즘을 공유하고 벤치마크할 수 있는 오픈형, 확장 가능한 플랫폼을 제공한다.
• 실용적인 도구와 문서를 통해 공정성 연구의 산업 현장 적용 전환을 용이하게 한다.

제안 방법

• 데이터셋 표현, 메트릭, 설명자, 편향 완화 알고리즘을 포함하는 확장 가능한 아키텍처를 정의한다.
• 71개 이상의 편향 탐지 메트릭, 9가지 편향 완화 방법, 그리고 메트릭 설명 프레임워크를 도입한다.
• 여러 단계에서 편향을 평가하기 위한 표준 파이프라인(dataset -> fair dataset -> model -> predictions)을 제공한다.
• 실무자를 돕기 위한 웹 기반 대화형 경험과 방대한 문서를 개발한다.
• 코드 품질 유지를 위한 엄격한 테스트 및 지속적 통합 환경을 구현한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 모델에 걸쳐 알고리즘 편향의 탐지, 이해 및 완대를 지원하기 위해 단일화된 오픈 소스 툴킷이 어떻게 작동할 수 있는가?
• RQ2 다른 공정성 정의 및 배포 맥락에 대해 가장 효과적인 메트릭과 완화 전략은 무엇인가?
• RQ3 보호 속성과 특징에서의 편향에 대한 설명과 위치화가 사용자가 적합한 개입을 선택하는 데 어떻게 도움이 될 수 있는가?

주요 결과

• AIF360은 벤치마킹 및 채택을 용이하게 하기 위해 편향 메트릭, 완화 알고리즘 및 설명을 하나의 오픈 소스 패키지에 통합한다.
• 사전 처리 및 인처리 방식(예: Reweighing, Optimized Pre-processing, Adversarial Debiasing)은 일반적으로 공정성 메트릭을 향상시키며 데이터셋에 따라 정확도에 미치는 영향이 다르게 나타난다.
• 사후 처리 방법(예: Equalized Odds, Calibrated Equalized Odds, Reject Option)은 모델 재학습이 불가능할 때 대안을 제공하며 정확도와 공정성 간의 트레이드오프가 있다.
• 인터랙티브한 웹 경험과 광범위한 튜토리얼은 비즈니스 사용자, 개발자 및 연구자가 실제 문제에 이 도구를 적용하는 데 도움을 준다.