[논문 리뷰] Fairness guarantee in multi-class classification

Christophe Denis, Romuald Élie외 2명|arXiv (Cornell University)|2021. 09. 28.

Ethics and Social Impacts of AI참고 문헌 22인용 수 11

한 줄 요약

이 논문은 다중 분류 설정에서 민족적 차별성(DP) 하에 정당한 fairness를 보장하면서도 약간의 fairness(ε-정당성)에 대해 명시적인 제어를 가능하게 하는 데이터 기반 후처리 방법을 제안한다. 이는 정확한 fairness를 위한 닫힌 형태의 최적 fair 분류기와 분포에 무관한 fairness 및 risk 보장을 유도하며, 빠른 수렴 속도를 달성하고, 합성 및 실세계 데이터셋에서 최신 기법들을 능가한다. 또한 임의의 기본 추정기(기본 추정기)를 허용한다.

ABSTRACT

Algorithmic Fairness is an established area of machine learning, willing to reduce the influence of hidden bias in the data. Yet, despite its wide range of applications, very few works consider the multi-class classification setting from the fairness perspective. We focus on this question and extend the definition of approximate fairness in the case of Demographic Parity to multi-class classification. We specify the corresponding expressions of the optimal fair classifiers. This suggests a plug-in data-driven procedure, for which we establish theoretical guarantees. The enhanced estimator is proved to mimic the behavior of the optimal rule both in terms of fairness and risk. Notably, fairness guarantees are distribution-free. The approach is evaluated on both synthetic and real datasets and reveals very effective in decision making with a preset level of unfairness. In addition, our method is competitive (if not better) with the state-of-the-art in binary and multi-class tasks.

연구 동기 및 목표

• 다중 분류 설정에서 이론적 및 실용적 fairness 방법의 부족을 해결한다.
• 약간의 fairness(ε-정당성) 개념을 다중 분류 설정으로 확장하고 철학적으로 엄밀한 분석을 수행한다.
• 재학습이 필요 없이 사전에 지정된 수준의 fairness를 강제하는 플러그인 절차를 개발한다.
• 유한 표본 fairness 및 risk 보장을 확립하며, 분포에 무관한 경계와 수렴 속도를 포함한다.
• 다양한 데이터셋과 기본 추정기(작은 레이블 데이터셋 포함)에서 강력한 성능을 보여준다.

제안 방법

• 다중 분류 설정에서 정확한 및 약간의 민족적 차별성(DP) 제약 조건 하에 최적 fair 분류기의 닫힌 형태 표현을 유도한다.
• 이중 단계 후처리 알고리즘 제안: 첫째, 조건부 클래스 확률을 추정하고, 둘째, fairness 제약 조건을 만족하도록 최적으로 이동시킨다.
• 제약 조건을 포함한 최소화를 통해 fairness를 강제하면서 예측 위험을 최소화하며, 이로써 해가 최적 규칙을 모방하도록 보장한다.
• 분포에 무관한 fairness 보장을 확립하며, 기대값과 높은 확률에서 유효하다.
• 마진 유형의 가정 하에 빠른 수렴 속도를 증명하며, 이론적 강건성을 향상시킨다.
• 모든 상용 확률적 분류기와 함께 적용 가능하여 즉시 사용 가능한 fairness 강제를 가능하게 한다.

실험 결과

연구 질문

• RQ1 민족적 차별성 하에 약간의 fairness(ε-정당성)를 고려할 때 다중 분류에 대한 최적 fair 분류기는 무엇인가?
• RQ2 다중 분류 설정에서 fairness와 risk를 분포에 무관하게 동시에 보장할 수 있는 방법은 무엇인가?
• RQ3 마진 유형의 가정 하에 제안된 fair 분류기의 유한 표본 수렴 속도는 무엇인가?
• RQ4 정확도 및 fairness 측면에서 최신 fair learning 기법들과 비교해 본다면 이 방법의 성능은 어떠한가?
• RQ5 이 방법은 다양한 데이터셋과 기본 추정기에서 사전 지정된 수준의 불공정성(ε)을 효과적으로 강제할 수 있는가?

주요 결과

• 제안된 방법은 기대값과 높은 확률 모두에서 분포에 무관한 fairness 보장을 달성하여 다양한 데이터 분포에서 강건성을 확보한다.
• 이 estimator는 risk 및 fairness 측면에서 최적 fair 규칙을 명시적으로 모방하며, 둘 다에 대해 명시적인 유한 표본 경계를 제공한다.
• 마진 유형의 가정 하에 빠른 수렴 속도를 달성하여 강력한 이론적 성능을 나타낸다.
• 실세계 및 합성 데이터셋에서, fair-learn 및 fair-projection과 같은 최신 기법들과 비교해 fairness 및 정확도 측면에서 뛰어나거나 유사한 성능을 보이며, 특히 낮은 ε 수준에서 뛰어난 성능을 발휘한다.
• 작은 레이블 데이터셋 조건에서도 다양한 기본 모델(reglog, RF, GBM) 간에 fairness 캘리브레이션을 사전 지정된 ε 수준 근처에서 유지한다.
• 알고리즘은 계산적으로 효율적이며, 후처리 성격 덕분에 fair-learn 및 fair-adversarial와 같은 인-프로세싱 기법보다 훨씬 빠르다.