[논문 리뷰] Augmented Fairness: An Interpretable Model Augmenting Decision-Makers' Fairness

Tong Wang, Maytal Saar‐Tsechansky|arXiv (Cornell University)|2020. 11. 17.

Ethics and Social Impacts of AI참고 문헌 19인용 수 4

한 줄 요약

이 논문은 예측에 편향이 있을 수 있는 인간 또는 블랙박스 의사결정자에 대해, 예측 성능과 공정성이라는 이중 목표 아래 훈련된 짧은 의사결정 규칙 세트로 편향된 예측을 대체함으로써 공정성을 향상시키는 모델에 종속되지 않은 해석 가능한 방법 AuFair를 제안한다. 진짜 레이블 확보에 예산 제약이 있는 조건에서 AuFair는 기존의 기준들, 특히 최첨단 후처리 방법들보다 뛰어난 공정성-정확도 트레이드오프를 달성한다.

ABSTRACT

We propose a model-agnostic approach for mitigating the prediction bias of a black-box decision-maker, and in particular, a human decision-maker. Our method detects in the feature space where the black-box decision-maker is biased and replaces it with a few short decision rules, acting as a "fair surrogate". The rule-based surrogate model is trained under two objectives, predictive performance and fairness. Our model focuses on a setting that is common in practice but distinct from other literature on fairness. We only have black-box access to the model, and only a limited set of true labels can be queried under a budget constraint. We formulate a multi-objective optimization for building a surrogate model, where we simultaneously optimize for both predictive performance and bias. To train the model, we propose a novel training algorithm that combines a nondominated sorting genetic algorithm with active learning. We test our model on public datasets where we simulate various biased "black-box" classifiers (decision-makers) and apply our approach for interpretable augmented fairness.

연구 동기 및 목표

• 재학습하거나 즉각 액세스할 수 없는 인간 의사결정자에서 발생하는 편향을 다루기 위해, 확률적이 아니라 이산적인 출력을 내는 인간 의사결정자에 대한 편향 문제를 해결한다.
• 완전한 지표가 아닌 제한된 예산 내 진짜 레이블만을 사용하는 공정성 완화 방법을 개발한다.
• 해석 가능성을 확보하여 고위험 분야에서 인간 전문가가 보완된 모델을 검토하고 승인할 수 있도록 한다.
• 단일 고정 솔루션이 아닌 공정성과 예측 성능 사이의 다양한 솔루션 트레이드오프를 제공하는 탄력적인 접근을 제공한다.
• 해석 가능한 대체 모델이 편향이 있는 영역에서 선택적으로 개입하는 인간-기계 하이브리드 시스템을 구축한다.

제안 방법

• 다중 목표 최적화 프레임워크를 사용하여, 예측 성능와 공정성을 균형 잡는 해석 가능한 대체 모델(AuFair)을 훈련한다.
• AuFair는 블랙박스 의사결정자의 예측과 주어진 예산 내에서 액티브 러닝을 통해 확보된 제한된 진짜 레이블을 기반으로 훈련된다.
• 비선형 최적화 기반의 새로운 훈련 알고리즘은 닌도메인팅 소트 유전 알고리즘(NSGA-II)과 액티브 러닝을 결합하여 정보량이 가장 높은 인스턴스를 반복적으로 선택하여 레이블 확보를 수행한다.
• 대체 모델은 특성 공간에서 원래 의사결정자가 편향이 있는 영역에서 공정한 대체자로 기능하는 해석 가능한 연관 규칙로 구성된다.
• 모델 평가에서는 공정성(진짜 양성자율의 절대 차이로 측정)과 오차율의 파레토 경계를 기준으로 한다.
• 레이블 확보 과정은 정보량을 극대화하기 위해 불확실성과 다양성 기준에 따라 이끌린다.

실험 결과

연구 질문

• RQ1 제한된 수의 진짜 레이블만 확보 가능한 조건에서, 후처리 방법이 이전의 기준들보다 더 나은 공정성-정확도 트레이드오프를 달성할 수 있는가?
• RQ2 해석 가능한 대체 모델이 인간 또는 블랙박스 의사결정자의 편향된 결정을 효과적으로 대체하면서도 전문가가 이해할 수 있는가?
• RQ3 레이블 확보 예산이 증가함에 따라 제안된 방법의 성능은 어떻게 변화하는가?
• RQ4 레이블 확보에 액티브 러닝 전략을 적용할 경우, 무작위 또는 비적응형 샘플링에 비해 성능 향상이 뚜렷한가?
• RQ5 이 방법이 공정성-정확도 경계상에서 다양한 솔루션 세트를 제공하여 작업에 맞는 선호도 기반의 최적 트레이드오프 선택이 가능한가?

주요 결과

• AuFair는 EOP 기준보다 유의미하게 뛰어난 공정성-정확도 트레이드오프를 달성하며, 오차율을 비슷하게 유지하면서 편향을 크게 줄였다.
• 진짜 레이블의 1%만으로도 AuFair는 기존 기준들이 100%의 진짜 레이블을 사용하는 것보다 공정성과 오차율 모두에서 뛰어난 성능을 보였다.
• AuFair의 파레토 경계는 레이블 확보 비율이 1%에서 10%로 증가할수록 크게 향상되었으며, 10%를 초과하면 수익 감소 현상이 나타났다.
• AuFair는 모든 예산 수준에서 EOP 기준을 압도하며, 더 낮은 편향과/또는 더 낮은 오차를 제공하는 솔루션을 제공한다.
• 액티브 러닝 전략은 정보량이 높은 인스턴스를 효과적으로 식별하여, 최소한의 레이블 쿼리로도 분산을 줄이고 성능을 향상시켰다.
• 이 방법은 공정성-정확도 경계상에서 다양한 솔루션 세트를 성공적으로 제공하여, 작업에 맞는 최적 트레이드오프 선택을 가능하게 했다.