[논문 리뷰] To the Fairness Frontier and Beyond: Identifying, Quantifying, and Optimizing the Fairness-Accuracy Pareto Frontier

Camille Olivia Little, Michael Weylandt외 1명|arXiv (Cornell University)|2022. 05. 31.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 어떤 군집 정의 fairness와 정확도 측정 방법에 대해 정확도-정의성 파레토 경계를 경험적으로 특성화하고 양적 분석하기 위해 taf 곡선과 정의성-경계 아래 면적(Fairness-Area-Under-the-Curve, fauc) 메트릭을 도입한다. 또한, 정의성 제약 조건 하에서 정확도를 최대화하기 위해 모델을 조합함으로써 경험적 파레토 경계를 확장하고 fauc를 향상시키는 컨 vex 최적화 기반의 모델 스태킹 프레임워크인 FairStacks를 제안한다. 이는 벤치마크 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Algorithmic fairness has emerged as an important consideration when using machine learning to make high-stakes societal decisions. Yet, improved fairness often comes at the expense of model accuracy. While aspects of the fairness-accuracy tradeoff have been studied, most work reports the fairness and accuracy of various models separately; this makes model comparisons nearly impossible without a model-agnostic metric that reflects the balance of the two desiderata. We seek to identify, quantify, and optimize the empirical Pareto frontier of the fairness-accuracy tradeoff. Specifically, we identify and outline the empirical Pareto frontier through Tradeoff-between-Fairness-and-Accuracy (TAF) Curves; we then develop a metric to quantify this Pareto frontier through the weighted area under the TAF Curve which we term the Fairness-Area-Under-the-Curve (FAUC). TAF Curves provide the first empirical, model-agnostic characterization of the Pareto frontier, while FAUC provides the first metric to impartially compare model families on both fairness and accuracy. Both TAF Curves and FAUC can be employed with all group fairness definitions and accuracy measures. Next, we ask: Is it possible to expand the empirical Pareto frontier and thus improve the FAUC for a given collection of fitted models? We answer affirmately by developing a novel fair model stacking framework, FairStacks, that solves a convex program to maximize the accuracy of model ensemble subject to a score-bias constraint. We show that optimizing with FairStacks always expands the empirical Pareto frontier and improves the FAUC; we additionally study other theoretical properties of our proposed approach. Finally, we empirically validate TAF, FAUC, and FairStacks through studies on several real benchmark data sets, showing that FairStacks leads to major improvements in FAUC that outperform existing algorithmic fairness approaches.

연구 동기 및 목표

• 다양한 모델 패밀리에 대해 정의성-정확도 파레토 경계를 경험적으로 식별하고, 정량화하며, 최적화하는 것.
• 정의성과 정확도를 다양한 모델 간에 공정하게 비교할 수 있는 모델에 종속되지 않는 통합 메트릭을 개발하는 것.
• 고위험 기계 학습 결정에서 정의성과 정확도를 균형 잡는 데 있어 핵심적인 과제를 해결하는 것.
• 개별 모델의 한계를 초월하여 경험적 파레토 경계를 확장하는 메타학습 프레임워크를 제안하는 것.
• 실제 벤치마크 데이터셋을 대상으로 제안된 프레임워크의 경험적 타당성을 검증하는 것.

제안 방법

• 모델에 종속되지 않는 경험적 파레토 경계를 특성화하기 위해 taf 곡선을 제안하며, 모든 정의성 수준에서의 최대 정확도를 플로팅한다.
• 정의성-정확도 트레이드오프의 총합을 정량화하기 위해 taf 곡선 아래 면적을 가중치로 적용한 Fairness-Area-Under-the-Curve (fauc) 메트릭을 도입한다.
• 점수 기반 정의성 제약 조건 하에서 정확도를 최대화하기 위해 모델을 조합하는 정의성 있는 모델 스태킹 프레임워크인 FairStacks를 개발한다.
• 사전 훈련된 모델의 선형 조합을 최적화하기 위해 제약 조건이 있는 컨벡스 프로그래밍을 사용하여, 모든 정의성 수준에서 정의성을 확보하면서 정확도를 향상시킨다.
• 실제 데이터셋에 프레임워크를 적용하여 경험적 파레토 경계와 fauc에서의 지속적인 향상을 입증한다.
• 모델에 종속되지 않는 설계 덕분에 모든 군집 정의성 정의와 정확도 측정 방법에 일반화 가능하다.

실험 결과

연구 질문

• RQ1 어떤 훈련된 모델 집합에 대해 정의성-정확도 파레토 경계를 모델에 종속되지 않는 방식으로 경험적으로 특성화할 수 있는가?
• RQ2 다양한 모델과 정의성 정의에 걸쳐 정의성-정확도 트레이드오프를 정량화하는 통합적이고 해석 가능한 메트릭이 존재하는가?
• RQ3 메타학습을 통해 개별 모델의 성능을 초월하여 경험적 파레토 경계를 확장할 수 있는가?
• RQ4 FairStacks 프레임워크는 다양한 데이터셋과 정의성 기준에서 정의성과 정확도 트레이드오프를 일관되게 향상시키는가?
• RQ5 제안된 프레임워크는 기존 알고리즘 기반 정의성 기법들과 비교해 정의성과 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• taf 곡선은 어떤 정의성 및 정확도 정의에 대해라도 정의성-정확도 파레토 경계를 경험적으로 모델에 종속되지 않게 시각화하는 데 있어 최초의 도구이다.
• fauc 메트릭은 정의성-정확도 균형을 기반으로 모델 패밀리 간에 정량적으로 비교할 수 있는 단일 통합 점수를 제공한다.
• FairStacks는 개별 모델보다 모든 정의성 수준에서 더 높은 정확도를 달성함으로써 경험적 파레토 경계를 일관되게 확장한다.
• 다양한 벤치마크 데이터셋에서 프레임워크는 기존의 정의성 완화 기법들을 능가하는 상당한 수준의 fauc 점수 향상을 달성한다.
• FairStacks를 통한 최적화는 컨벡스 프로그래밍을 해결함으로써 파레토 경계를 확장할 수 있도록 보장되며, 이는 정의성 제약 조건 하에서 정확도를 최대화하기 때문이다.
• 이 방법은 모든 군집 정의성 정의와 정확도 측정 방법에 일반적으로 적용 가능하므로 넓은 실무적 적용이 가능하다.