[논문 리뷰] FairGBM: Gradient Boosting with Fairness Constraints

André F. Cruz, Catarina Belém외 4명|arXiv (Cornell University)|2022. 09. 16.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

FairGBM는 미분 가능한 대체 제약 조건과 대체 라그랑주 형식을 사용하여 편향 제약 조건 하에서 기울기 부스팅 결정 트리(GBDT)를 훈련하기 위한 새로운 인-프로세싱 프레임워크이다. 이는 기울기 기반 최적화를 가능하게 하여 최신 기술 수준의 편향 보장과 최소한의 성능 저하를 동시에 달성하며, 이전 방법보다 최대 10배 빠른 훈련 속도를 제공한다.

ABSTRACT

Tabular data is prevalent in many high-stakes domains, such as financial services or public policy. Gradient Boosted Decision Trees (GBDT) are popular in these settings due to their scalability, performance, and low training cost. While fairness in these domains is a foremost concern, existing in-processing Fair ML methods are either incompatible with GBDT, or incur in significant performance losses while taking considerably longer to train. We present FairGBM, a dual ascent learning framework for training GBDT under fairness constraints, with little to no impact on predictive performance when compared to unconstrained GBDT. Since observational fairness metrics are non-differentiable, we propose smooth convex error rate proxies for common fairness criteria, enabling gradient-based optimization using a ``proxy-Lagrangian'' formulation. Our implementation shows an order of magnitude speedup in training time relative to related work, a pivotal aspect to foster the widespread adoption of FairGBM by real-world practitioners.

연구 동기 및 목표

• 고성능 테이블 데이터 응용 분야에서 GBDT 모델에 대해 효율적이고 인-프로세싱 편향 제약 조건이 부족한 문제를 해결하기 위해.
• 기존 방법에서 흔히 발생하는 성능 저하를 피하면서도 높은 예측 성능를 유지하면서 편향 제약 조건을 강제하기 위해.
• 불균형 설정에서 실세계 적용에 필수적인 특정 ROC 점(예: 고정된 위양성 비율)에서 훈련을 가능하게 하기 위해.
• 추가 모델이나 메모리 집약적인 반복을 필요로 하지 않는 표준 GBDT 훈련 파이프라인과 호환되는 프레임워크를 개발하기 위해.
• 사기 탐지 및 헬스케어와 같은 임무 핵심 시스템에서 사용 가능한 확장성 있고 프로덕션 준비된 편향 솔루션을 제공하기 위해.

제안 방법

• 비미분 가능한 편향 메트릭을 보다 부드럽고 볼록한 대체 제약 조건으로 대체하여, 비미분 가능한 편향 메트릭을 기반으로 기울기 기반 최적화를 가능하게 하는 대체 라그랑주 형식을 사용한다.
• GBDT 훈련 루프 내부에서 라그랑주 승수의 방법을 적용하여, 예측 손실 최소화와 편향 제약 위반 최대화 사이의 이중 플레이어 게임으로 편향을 설정한다.
• 등비 기회 및 민족적 평등성과 같은 편향 기준을 위한 다양한 편미분 가능한 대체 기준을 사용하여, 제약 조건 항목을 통해 역전파가 가능하게 한다.
• 손실 함수의 모델 출력에 대한 기울기 정보를 활용하여 편향 제약 조건을 GBDT 부스팅 과정에 직접 통합함으로써, 외부 모델 훈련이나 메모리 집약적인 저장소를 피한다.
• 특정 ROC 곡선 상의 점(예: 고정된 위양성 비율)에서 제약 조건을 강제할 수 있도록 지원하여, 기업의 특정 기준에 맞는 배포를 가능하게 한다.
• 이중 상승 프레임워크를 활용하여 모델 정확도와 편향을 동시에 최적화하며, 대체 라그랑주 형식 하에서 수렴이 보장된다.

실험 결과

연구 질문

• RQ1 예측 성능 저하 없이 GBDT 훈련에 편향 제약 조건을 효과적으로 통합할 수 있는가?
• RQ2 기울기 부스팅 프레임워크 내에서 비미분 가능한 편향 메트릭을 다양한 편미분 가능한 대체 기준을 통해 최적화할 수 있는가?
• RQ3 제안된 대체 라그랑주 형식이 기존 인-프로세싱 편향 방법보다 GBDT에 대해 더 빠른 훈련을 가능하게 하는가?
• RQ4 GBDT를 사용하여 특정 ROC 곡선 상의 운영 지점(예: 고정된 FPR)에서 편향을 강제할 수 있는가?
• RQ5 이 방법은 사기 탐지와 같이 실세계 고위험 응용 분야에 최소한의 훈련 오버헤드로 배포 가능한가?

주요 결과

• FairGBM는 기준 데이터셋에서 제약 조건이 없는 GBDT에 비해 예측 성능 저하가 1% 미만으로 유지되면서 최신 기술 수준의 편향 성능을 달성한다.
• Fairlearn의 EG 프레임워크와 같은 이전 인-프로세싱 편향 방법 대비 훈련 시간을 한 단계 감소시킨다.
• FairGBM는 특정 ROC 점에서 편향 제약 조건을 성공적으로 강제하여, 고정된 예산 또는 위양성 비율 제약 조건 하에서의 배포를 가능하게 한다.
• 이론적으로 증명된 바와 같이, 대체 라그랑주 형식은 비미분 가능한 편향 메트릭이 존재하는 상황에서도 확률적 평형에 수렴할 수 있도록 한다.
• 5개의 공개 편향 기준 데이터셋과 실세계 계정 개설 사기 사례 연구에서 FairGBM는 편향-성능 트레이드오프 측면에서 최신 기술 수준의 인-프로세싱 기준보다 일관되게 뛰어난 성능을 보였다.
• 이 프레임워크는 프로덕션 준비가 되어 있으며 표준 GBDT 파이프라인과 호환되며, 운영 배포에 필수적인 연속적인 스코어링 기능을 지원한다.