[논문 리뷰] A Framework for Fairness: A Systematic Review of Existing Fair AI Solutions

Brianna Richardson, Juan E. Gilbert|arXiv (Cornell University)|2021. 12. 10.

Ethics and Social Impacts of AI인용 수 30

한 줄 요약

이 논문은 알고리즘 편향을 체계적으로 검토하고, 공정성 해결 공간(도구 키트와 체크리스트)을 조사하며, 실용적 한계를 분석하고, 연구자와 실무자를 연결하기 위한 권고를 제시한다.

ABSTRACT

In a world of daily emerging scientific inquisition and discovery, the prolific launch of machine learning across industries comes to little surprise for those familiar with the potential of ML. Neither so should the congruent expansion of ethics-focused research that emerged as a response to issues of bias and unfairness that stemmed from those very same applications. Fairness research, which focuses on techniques to combat algorithmic bias, is now more supported than ever before. A large portion of fairness research has gone to producing tools that machine learning practitioners can use to audit for bias while designing their algorithms. Nonetheless, there is a lack of application of these fairness solutions in practice. This systematic review provides an in-depth summary of the algorithmic bias issues that have been defined and the fairness solution space that has been proposed. Moreover, this review provides an in-depth breakdown of the caveats to the solution space that have arisen since their release and a taxonomy of needs that have been proposed by machine learning practitioners, fairness researchers, and institutional stakeholders. These needs have been organized and addressed to the parties most influential to their implementation, which includes fairness researchers, organizations that produce ML algorithms, and the machine learning practitioners themselves. These findings can be used in the future to bridge the gap between practitioners and fairness experts and inform the creation of usable fair ML toolkits.

연구 동기 및 목표

• ML 파이프라인 전반의 알고리즘 편향 원천을 정의하고 분류하기 (기존 편향, 기술적 편향, 신흥 편향).
• 소프트웨어 도구 키트와 체크리스트를 포함한 기존의 공정성 해결 공간을 조사한다.
• 실무에서 공정성 도구의 사용 방식을 평가하고 주의점과 설계상의 결함을 식별한다.
• 공정성 연구를 산업의 필요와 실무자의 관행에 맞추기 위한 권고를 제공한다.

제안 방법

• 편향 유형의 문헌 종합 및 분류 체계 개발(기존, 기술적, 신흥).
• 산업계와 학계의 주요 공정성 도구 키트와 체크리스트를 분류하고 설명한다.
• 공정성 해결책의 실용성, 사용성 및 설계상의 격차를 분석한다.
• 메트릭 간 충돌, 윤리 세탁, 사회기술적 고려사항 등과 같은 주의점을 논의한다.
• 공정성 연구자, 조직 및 ML 실무자를 위한 실행 가능한 권고를 제시한다.

실험 결과

연구 질문

• RQ1 공정성 문제를 촉발하는 주요 진입점 및 형태의 알고리즘 편향은 무엇인가?
• RQ2 어떤 공정성 도구 키트와 체크리스트가 존재하며, 이들이 어떤 기능을 제공하거나 부족한가?
• RQ3 현실에서 현재의 공정성 해결책은 실무에서 어떻게 작동하고 있으며, 그 주의점은 무엇인가?
• RQ4 공정성 연구와 산업 실무의 간극을 좁힐 수 있는 권고는 무엇인가?

주요 결과

• 편향의 분류 체계를 식별한다: 기존 편향, 기술적 편향, 신흥(배포) 편향.
• 소프트웨어 도구 키트와 수명주기 체크리스트가 지배하는 다양한 해결 공간을 문서화한다.
• 실세계 적용에서 공정성 연구자와 ML 실무자 간의 격차를 강조한다.
• 상충하는 공정성 지표, 강건성 문제, 윤리/기술의 균형과 같은 도전과제를 지적한다.
• 도입 개선을 위해 인간 중심 설계와 도메인 특화적이고 사용하기 쉬운 공정한 AI 도구 키트를 권고한다.