[논문 리뷰] Aequitas: A Bias and Fairness Audit Toolkit

Pedro Saleiro, Benedict Kuester외 6명|arXiv (Cornell University)|2018. 11. 14.

Ethics and Social Impacts of AI참고 문헌 27인용 수 64

한 줄 요약

Aequitas는 2018년에 출시된 오픈 소스 도구상자로, 인구 하위 집단 간의 다수 편향 및 공정성 지표에 대해 ML 모델의 평가를 가능하게 하며, 정책 관련 의사 결정을 지원하기 위해 Python 라이브러리, CLI, 및 웹 앱으로 통합되어 있습니다.

ABSTRACT

Recent work has raised concerns on the risk of unintended bias in AI systems being used nowadays that can affect individuals unfairly based on race, gender or religion, among other possible characteristics. While a lot of bias metrics and fairness definitions have been proposed in recent years, there is no consensus on which metric/definition should be used and there are very few available resources to operationalize them. Therefore, despite recent awareness, auditing for bias and fairness when developing and deploying AI systems is not yet a standard practice. We present Aequitas, an open source bias and fairness audit toolkit that is an intuitive and easy to use addition to the machine learning workflow, enabling users to seamlessly test models for several bias and fairness metrics in relation to multiple population sub-groups. Aequitas facilitates informed and equitable decisions around developing and deploying algorithmic decision making systems for both data scientists, machine learning researchers and policymakers.

연구 동기 및 목표

• 공공 정책에 영향을 미치는 AI 시스템에서 실용적인 편향 및 공정성 감사의 필요성을 제시한다.
• 보호된 그룹 전반에 걸쳐 다양한 편향 및 공정성 지표를 계산하는 운용 가능한 도구 키트를 제공한다.
• 기술적 사용자와 비기술적 사용자 모두를 위한 사용자 친화적 인터페이스를 제공하여 데이터 과학과 정책 간의 다리를 놓는다.
• 모델 선택, 배포 및 생산 환경에서의 주기적 재평가를 정보하는 표준 감사 관행을 촉진한다.

제안 방법

• 배포 기반, 오류 기반 및 영향 지향 공정성을 위한 광범위한 그룹 기반 지표를 정의한다.
• 참조 그룹 및 차이 측정치를 사용하여 여러 보호 속성 그룹 간의 비교를 가능하게 한다.
• 수정 가능한 평등 매개변수 tau를 도입하여 허용 가능한 차이가 범위를 제어한다(예: 80% 규칙).
• 배포 전, 홀드아웃 및 배포 후 감사 지원, A/B 테스트 설정 포함.
• 정책 맥락 및 개입 비용에 따라 지표 선택을 안내하는 사용자 친화적인 공정성 트리를 제공한다.
• 정책 입안자를 위한 Python 라이브러리, CLI 및 맞춤형 웹 앱을 통해 산출물을 제공한다.

실험 결과

연구 질문

• RQ1 공공-policy ML 애플리케이션에서 여러 차별 및 공정성 지표를 운영화하고 여러 인구 통계학적 그룹 간에 비교하려면 어떻게 할 수 있는가?
• RQ2 어떤 차별 measures(및 참조 그룹 선택)가 다양한 개입 맥락(도움 제공 대 억제)에서 공정성 우려를 가장 잘 반영하는가?
• RQ3 실용적인 도구가 데이터 과학자와 정책 입안자를 다져 일상적인 편향 감사 채택으로 이행하도록 도울 수 있는가?
• RQ4 형사 사법, 건강, 공공 안전과 같은 다양한 정책 영역에서 ML 위험 점수를 적용할 때 어떤 공정성 문제가 특징적으로 나타나는가?

주요 결과

• Aequitas는 모델 개발 및 배치 중에 여러 인구 구성 하위 그룹에 걸쳐 편향 및 공정성 지표를 감사하게 한다.
• 도구는 분포 기반, 오류 기반 및 영향 기반 공정성 지표를 참조 그룹에 대한 쌍별 그룹 차이와 함께 구현한다.
• 조정 가능한 tau 매개변수는 유연한 공정성 제약을 제공하며 80% 규칙과 같은 개념을 일반화한다.
• 형사 사법, 공중 보건 및 경찰 업무에 걸친 사례 연구는 식별 가능한 편향과 서로 다른 모델 및 기준선의 비교적 영향을 보여준다.
• 감사는 전문가 기준선과 ML 모델 간의 실용적 차이를 드러냈으며, 일부 경우 ML 모델이 전문가 휴리스틱에 비해 특정 편향을 감소시키는 경향을 보였다.
• 공정성 트리는 개입 목표에 부합하는 관련 공정성 지표를 비기술적 정책 입안자들이 선택하는 데 도움을 준다.