[논문 리뷰] Fairlearn: Assessing and Improving Fairness of AI Systems

Hilde Weerts, Miroslav Dudı́k외 4명|arXiv (Cornell University)|2023. 03. 29.

Ethics and Social Impacts of AI인용 수 49

한 줄 요약

Fairlearn은 AI의 공정성을 평가하고 사전처리, 학습 중 처리, 사후처리 방법을 통해 공정성 이슈를 완화하는 도구 및 사회기술적 학습 자료를 제공하는 오픈 소스 Python 라이브러리와 동반 자료입니다.

ABSTRACT

Fairlearn is an open source project to help practitioners assess and improve fairness of artificial intelligence (AI) systems. The associated Python library, also named fairlearn, supports evaluation of a model's output across affected populations and includes several algorithms for mitigating fairness issues. Grounded in the understanding that fairness is a sociotechnical challenge, the project integrates learning resources that aid practitioners in considering a system's broader societal context.

연구 동기 및 목표

• 영향을 받는 인구 전반에 걸쳐 AI 시스템의 공정성과 관련된 피해를 평가하기 위한 실용적인 도구를 제공한다.
• 민감 특성으로 정의된 그룹 간에 성능 지표의 세분화된 평가를 가능하게 한다.
• 표준 ML 모델을 감싸는 다양한 완화 전략(사전 처리, 학습 중 처리, 사후 처리)을 제공한다.
• 사회적 영향 내에서 공정성을 맥락화하기 위한 사회기술적 학습 자료를 통합한다.

제안 방법

• 지표 함수와 실제 레이블, 예측값, 민감 특징을 결합하여 세분화된 평가를 수행하는 MetricFrame 클래스를 도입한다.
• MetricFrame에서 파생된 demographic_parity_difference 및 equalized_odds_difference와 같은 공정성 지표를 제공한다.
• 모델-성능과 공정성 지표 시각화 도구를 통해 여러 모델의 비교를 지원한다.
• 사전 처리, 학습 도중 처리, 사후 처리의 세 가지 완화 범주를 설명하고 대표 알고리즘(예: CorrelationRemover, ExponentiatedGradient, Adversarial 모델, ThresholdOptimizer)을 제시한다.
• scikit-learn 규칙과의 API 호환성을 보장하고 표준 공정/비공정 알고리즘을 다재다능한 메타 알고리즘으로 래핑한다.

실험 결과

연구 질문

• RQ1 실무자는 세분화된 평가를 사용하여 인구 집단 간의 공정성과 관련된 피해를 어떻게 정량화하고 비교할 수 있는가?
• RQ2 Fairlearn은 AI 예측에서 인구통계적 평등성(demographic_parity)과 동등화된 오즈(equalized odds)를 평가하기 위해 어떤 도구와 지표를 제공하는가?
• RQ3 성능을 유지하면서 공정성을 개선하기 위해 모델 개발의 다양한 단계(사전 처리, 학습 중 처리, 사후 처리)에서 어떤 완화 전략을 적용할 수 있는가?
• RQ4 Fairlearn은 공정성 평가에서 사회기술적 맥락의 학습과 이해를 어떻게 촉진할 수 있는가?
• RQ5 Fairlearn은 기존 ML 라이브러리와 어떻게 통합되어 실무자들이 실용적으로 활용할 수 있게 하는가?

주요 결과

• Fairlearn은 그룹 간 세분화된 지표를 수행하고 이를 차이 혹은 비율을 통해 비교하는 MetricFrame 도구를 제공한다.
• MetricFrame 워크플로에서 파생된 demographic_parity_difference 및 equalized_odds_difference와 같은 공정성 지표를 제공한다.
• 이 라이브러리는 전체 성능과 공정성 지표를 연결하는 플롯을 사용한 모델 비교를 지원한다.
• CorrelationRemover(사전 처리), ExponentiatedGradient 및 Adversarial 방법(학습 중 처리), ThresholdOptimizer(사후 처리) 등 여러 완화 방법이 설명된다.
• 학습 자료와 데이터 세트가 라이브러리와 함께 제공되어 실무자들에게 공정성의 사회기술적 측면에 대해 교육한다.