[논문 리뷰] Learning Fair Rule Lists

Ulrich Aïvodji, Julien Ferry외 3명|arXiv (Cornell University)|2019. 09. 09.

Ethics and Social Impacts of AI참고 문헌 83인용 수 7

한 줄 요약

이 논문은 여러 통계적 정의의 정의에 따라 공정성 제약 조건을 강제하면서 증명 가능 최적의 규칙 목록을 학습하는 다목적 분할 및 구속 알고리즘인 FairCORELS를 제안한다. 이는 기존의 해석 가능한 공정 모델보다 우수하며, 실제 데이터셋에서 정확도/공정성 트레이드오프에서 비해석 가능한 최첨단 방법과 유사한 성능을 달성한다.

ABSTRACT

As the use of black-box models becomes ubiquitous in high stake decision-making systems, demands for fair and interpretable models are increasing. While it has been shown that interpretable models can be as accurate as black-box models in several critical domains, existing fair classification techniques that are interpretable by design often display poor accuracy/fairness tradeoffs in comparison with their non-interpretable counterparts. In this paper, we propose FairCORELS, a fair classification technique interpretable by design, whose objective is to learn fair rule lists. Our solution is a multi-objective variant of CORELS, a branch-and-bound algorithm to learn rule lists, that supports several statistical notions of fairness. Examples of such measures include statistical parity, equal opportunity and equalized odds. The empirical evaluation of FairCORELS on real-world datasets demonstrates that it outperforms state-of-the-art fair classification techniques that are interpretable by design while being competitive with non-interpretable ones.

연구 동기 및 목표

• 해석 가능한 공정 분류 방법에서의 열악한 정확도/공정성 트레이드오프를 해결하기 위해.
• 본질적으로 투명하고 증명 가능 최적인 해석 가능한 공정 모델을 설계하기 위해.
• CORELS라는 규칙 목록 학습 알고리즘에 다양한 정의의 공정성 제약 조건을 통합하기 위해.
• 다양한 공정성 지표를 사용하여 실제 데이터셋에서 방법을 평가하기 위해.
• 해석 가능한 공정 모델이 비해석 가능한 최첨단 공정 기준과 유사한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• FairCORELS는 분류 오차와 불공정성을 동시에 최소화하는 다목적 최적화 프레임워크를 통해 CORELS를 확장한다.
• 통계적 평등, 동등 기회, 동등한 오차율, 예측 정확도 평등, 조건부 사용 정확도 평등과 같은 다수의 공정성 정의를 지원한다.
• 엄밀한 하한 및 상한을 사용하는 분할 및 구속을 통해 규칙 목록 공간을 효율적으로 탐색한다.
• 각 공정성 정의에 맞게 조정된 통계적 편향 지표를 사용하여 불공정성을 측정한다.
• 공정성과 정확도를 균형 잡는 비열등한 해의 파레토 프론트를 계산한다.
• 공정성 지표 선택에 관계없이 간편하게 통합 가능하므로 다양한 공정성 정의의 플러그-인 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 규칙 목록 모델이 해석 가능성을 유지하면서도 높은 정확도와 강력한 공정성 보장을 동시에 달성할 수 있는가?
• RQ2 FairCORELS의 성능은 최첨단 해석 가능한 및 비해석 가능한 공정 분류 방법과 비교해 어떻게 되는가?
• RQ3 다중 공정성 제약 조건 하에 공정한 규칙 목록을 학습하기 위해 분할 및 구속 접근 방식이 어느 정도 확장 가능한가?
• RQ4 규칙 목록 학습에 공정성 제약 조건을 통합하면 비공정 모델 대비 정확도가 떨어지는가?
• RQ5 기존의 해석 가능한 공정 모델보다 FairCORELS가 더 나은 공정성-정확도 트레이드오프를 도출할 수 있는가?

주요 결과

• FairCORELS는 Adult 및 COMPAS 데이터셋에서 기존의 해석 가능한 공정 분류 기법보다 공정성-정확도 트레이드오프 측면에서 뛰어난 성능을 보였다.
• Adult 데이터셋에서 SP 제약 조건이 적용된 규칙 목록은 80.1%의 정확도를 기록했으며, 통계적 평등 불공정성은 1.9%에 불과했다.
• 동일한 데이터셋에서 EOpp 제약 조건이 적용된 규칙 목록은 82.3%의 정확도와 0.8%의 동등 기회 불공정성을 달성했다.
• COMPAS 데이터셋에서 EOdds 제약 조건이 적용된 규칙 목록은 59.1%의 정확도를 기록했고, 동등한 오차율 불공정성은 4.8%였으며, 이는 상당한 불공정성 감소와 합리적인 정확도 유지에 기여했다.
• COMPAS에서 CUAE 제약 조건이 적용된 규칙 목록은 64.5%의 정확도를 기록했고, 조건부 사용 정확도 평등 불공정성은 0.9%에 불과했다.
• FairCORELS는 해석 가능한 모델이 비해석 가능한 공정 모델과 유사한 공정성-정확도 성능을 달성할 수 있음을 입증했으며, 특히 파레토 최적 영역에서 뛰어난 성능을 보였다.