[논문 리뷰] FairCanary: Rapid Continuous Explainable Fairness

Avijit Ghosh, Aalok Shanbhag외 1명|arXiv (Cornell University)|2021. 06. 13.

Ethics and Social Impacts of AI참고 문헌 44인용 수 4

한 줄 요약

FairCanary는 예측 분포의 불균형을 분위수 분할을 통해 측정하는 임계값이 없는 공정성 메트릭인 분위수 인구통계적 드리프트(QDD)를 도입한다. 기존의 개별 예측에 대한 설명(예: SHAP 또는 LIME)을 재사용함으로써, 빠르고 지속적이며 설명 가능한 공정성 모니터링을 가능하게 하며, 이전 방법이 다시 계산해야 하는 것에 비해 10배 빠른 성능 향상을 달성한다.

ABSTRACT

Systems that offer continuous model monitoring have emerged in response to (1) well-documented failures of deployed Machine Learning (ML) and Artificial Intelligence (AI) models and (2) new regulatory requirements impacting these models. Existing monitoring systems continuously track the performance of deployed ML models and compute feature importance (a.k.a. explanations) for each prediction to help developers identify the root causes of emergent model performance problems. We present Quantile Demographic Drift (QDD), a novel model bias quantification metric that uses quantile binning to measure differences in the overall prediction distributions over subgroups. QDD is ideal for continuous monitoring scenarios, does not suffer from the statistical limitations of conventional threshold-based bias metrics, and does not require outcome labels (which may not be available at runtime). We incorporate QDD into a continuous model monitoring system, called FairCanary, that reuses existing explanations computed for each individual prediction to quickly compute explanations for the QDD bias metrics. This optimization makes FairCanary an order of magnitude faster than previous work that has tried to generate feature-level bias explanations.

연구 동기 및 목표

• 생산 환경에서 흔히 사용 불가능한 임의의 임계값과 결과 레이블에 의존하는 전통적인 공정성 메트릭의 한계를 해결하기 위해.
• 재학습이나 설명 재계산이 필요 없이, 데포이된 머신러닝 모델에서의 공정성 드리프트를 감지할 수 있는 지속적인 모니터링 시스템을 개발하기 위해.
• 실시간으로 편향의 근본 원인을 분석할 수 있는 기능 수준의 설명을 제공함으로써, 공정성 메트릭에 대한 액션 가능한 통찰을 제공하기 위해.
• 시장 후 공정성 모니터링을 의무화하는 새로운 인공지능 거버넌스 프레임워크에 부합하는 규정 준수를 지원하기 위해.
• 기존 모델 설명 인프라를 재사용함으로써 공정성 모니터링의 효율성과 확장성을 향상시키기 위해.

제안 방법

• 고정된 임계값 대신 분위수 분할을 사용하여 하위군 간 예측 분포를 비교하는 공정성 메트릭인 분위수 인구통계적 드리프트(QDD)를 도입한다.
• 분위수 기반 분할을 통해 누적 예측 분포의 차이를 측정함으로써, 인구통계적 평등성이나 동일 기회와 같은 임계값 의존 메트릭의 통계적 한계를 피한다.
• 개별 예측에 대해 사전에 계산된 인스턴스 수준의 설명(예: SHAP 또는 LIME)을 재사용하여 QDD에 대한 기능 수준의 설명을 효율적으로 유도함으로써, 다시 계산할 필요 없이 설명을 생성한다.
• 모델 입력, 출력 및 공정성 메트릭을 시간에 따라 추적하는 지속적인 모니터링 파이프라인에 QDD를 통합하며, 드리프트 경고를 위한 구성 가능한 경고 기능을 제공한다.
• 기존 머신러닝 모니터링 스택과의 통합을 지원하는 모듈러 아키텍처를 채택하여, 분할 수 및 경고 민감도의 동적 조정을 가능하게 한다.
• 합성 사례 연구와 실제 사례를 통해 접근법을 검증하였으며, 임계값 선택에 대한 강건성과 공정성 드리프트 탐지 능력 향상을 입증하였다.

실험 결과

연구 질문

• RQ1 의도적인 예측 임계값에 종속되지 않으면서도 모델 행동의 의미 있는 불균형을 탐지할 수 있는 공정성 메트릭을 설계할 수 있는가?
• RQ2 설명을 다시 계산하지 않고도 지속적인 모니터링 환경에서 공정성 메트릭에 대한 기능 수준의 설명을 효율적으로 계산할 수 있는가?
• RQ3 결과 레이블이 가용하지 않을 경우 QDD가 기존 공정성 메트릭보다 얼마나 우수한 공정성 드리프트 탐지 성능을 보이는가?
• RQ4 기존의 개별 예측 설명을 재사용하면 공정성 모니터링의 계산 오버헤드를 크게 줄일 수 있는가?
• RQ5 실제 배포 환경에서 점진적 또는 급격한 데이터 드리프트와 같은 다양한 유형의 드리프트 상황에서 QDD는 어떻게 성능을 발휘하는가?

주요 결과

• 기존 메트릭인 통계적 평등성 차이(Statistical Parity Difference, SPD)와 비대칭 영향(Disparate Impact, DI)이 임계값 민감성으로 인해 경고를 트리거하지 못하는 합성 시나리오에서 QDD는 공정성 드리프트를 성공적으로 탐지한다.
• 이틀간의 합성 사례 연구에서 SPD는 모든 테스트 임계값에서 두 번째 날에 편향을 탐지하지 못했으며, DI는 오직 한 개의 임계값 수준에서만 탐지에 성공하여, 임계값 의존 메트릭의 취약성을 입증한다.
• 기존 방법이 다시 계산해야 하는 것에 비해, FairCanary는 공정성 메트릭에 대한 기능 수준의 설명을 계산하는 데 10배 빠른 성능 향상을 달성한다.
• 기존의 인스턴스 수준 설명을 QDD에 재사용함으로써 실시간이고 확장 가능한 공정성 모니터링이 가능하며, 성능 오버헤드가 최소화된다.
• 결과 레이블의 부재에도 강건하기 때문에, 추론 시점에 레이블이 가용하지 않을 수 있는 생산 환경에 적합하다.
• 설명 가능한 편향 탐지 기능을 통해 개발자가 데포이된 모델에서 공정성 문제의 근본 원인을 식별할 수 있는 액션 가능한 통찰을 제공한다.