[논문 리뷰] Classification with abstention but without disparities

Nicolas Schreuder, Evgenii Chzhen|arXiv (Cornell University)|2021. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 5

한 줄 요약

이 논문은 라벨이 없는 데이터를 사용하여 어떤 표준 점수 기반 분류기라도 공정하고 기각 기능을 갖춘 분류기로 변환하는 후처리 알고리즘을 제안한다. 정확도, 공정성, 제어된 기각 비율을 최적화하며, 유한 표본 보장을 수립한다. 충분한 라벨이 없는 데이터가 확보되면, 초기 분류기의 성능과 무관하게 공정성과 기각 기능을 달성할 수 있으며, 위험-공정성 트레이드오프를 효과적으로 회피한다.

ABSTRACT

Classification with abstention has gained a lot of attention in recent years as it allows to incorporate human decision-makers in the process. Yet, abstention can potentially amplify disparities and lead to discriminatory predictions. The goal of this work is to build a general purpose classification algorithm, which is able to abstain from prediction, while avoiding disparate impact. We formalize this problem as risk minimization under fairness and abstention constraints for which we derive the form of the optimal classifier. Building on this result, we propose a post-processing classification algorithm, which is able to modify any off-the-shelf score-based classifier using only unlabeled sample. We establish finite sample risk, fairness, and abstention guarantees for the proposed algorithm. In particular, it is shown that fairness and abstention constraints can be achieved independently from the initial classifier as long as sufficiently many unlabeled data is available. The risk guarantee is established in terms of the quality of the initial classifier. Our post-processing scheme reduces to a sparse linear program allowing for an efficient implementation, which we provide. Finally, we validate our method empirically showing that moderate abstention rates allow to bypass the risk-fairness trade-off.

연구 동기 및 목표

• 이중 분류에서 위험-공정성 트레이드오프를 해결하기 위해 제어된 기각 메커니즘을 도입한다.
• 공정한 분류와 기각 문제를 제약 조건이 있는 위험 최소화 문제로 체계화한다.
• 모든 사전 훈련된 분류기를 라벨이 없는 데이터만을 사용하여 후처리하여 공정성과 기각 제약 조건을 강제하는 알고리즘을 개발한다.
• 충분한 라벨이 없는 데이터가 확보되면, 초기 분류기의 품질과 무관하게 위험, 공정성, 기각에 대한 유한 표본 보장을 수립한다.
• 실무자들이 민감 그룹별 기각 비율을 제어하면서도 공정성을 확보하고 오분류 위험을 최소화할 수 있도록 한다.

제안 방법

• 최적의 분류기는 공정성 및 기각 제약 조건이 있는 제약 조건이 있는 위험 최소화 문제의 해로서 유도되며, 그룹별로 다른 임계값을 포함하는 닫힌 형태의 표현식을 갖는다.
• 이 방법은 슬랙 변수를 사용하여 공정성 및 기각 제약 조건 하에서 오분류 위험을 최소화하는 희소 선형 프로그래밍(LP-Primal)으로 후처리 단계를 수식화한다.
• 알고리즘은 라벨이 없는 데이터를 사용하여 그룹별 조건부 확률과 기각 임계값을 추정하여, 그룹 기반의 기각 비율을 가능하게 한다.
• 희소성은 라벨이 없는 샘플 수가 그룹 수에 비해 크게 초과될 경우에 유용하게 활용되며, 구조화된 행렬 A와 벡터 b를 사용하여 LP 형식을 압축적으로 표현한다.
• 이 방법은 플러그 앤 플레이 방식으로, 재훈련 없이도 어떤 점수 기반 분류기에도 적용 가능하며, 원본 모델의 예측을 유지하면서도 공정성과 기각 기능을 조정한다.
• 충분한 라벨이 없는 데이터가 확보되면, 초기 분류기의 성능과 무관하게 공정성과 기각 제약 조건을 충족시킬 수 있다.

실험 결과

연구 질문

• RQ1 후처리 방법이 예측 정확도를 훼손하지 않고도 이중 분류에서 공정성과 제어된 기각을 동시에 달성할 수 있는가?
• RQ2 라벨이 없는 데이터를 사용하여 공정성과 기각 제약 조건을 초기 분류기 성능에서 완전히 분리할 수 있는 정도는 어느 정도인가?
• RQ3 공정성과 기각을 동시에 강제하는 후처리 알고리즘의 유한 표본 성능 보장은 무엇인가?
• RQ4 위험, 공정성, 기각 비율 제어 측면에서 기존 방법과 비교해 본다면, 제안된 방법은 어떻게 다른가?
• RQ5 공정성과 기각 제약 조건이 동시에 존재할 때 최적의 기각 분류기는 명시적으로 특성화될 수 있는가?

주요 결과

• 제안된 후처리 알고리즘은 충분한 라벨이 없는 데이터가 확보되면, 초기 분류기의 품질과 무관하게 유한 표본 위험, 공정성, 기각 보장을 달성한다.
• 공정성과 기각 제약 조건은 충분한 라벨이 없는 데이터를 사용하면 동시에 달성되며, 초기 분류기의 성능과 무관하게 실현 가능하다.
• 이 방법은 효율적으로 해결할 수 있는 희소 선형 프로그래밍으로 수렴하여 실용적 구현이 가능하다.
• 실험적 검증 결과, 중간 정도의 기각 비율이면 기존의 위험-공정성 트레이드오프를 회피할 수 있음을 보여준다.
• 최적의 분류기는 그룹별 조건부 확률과 공정성 제약 조건에 따라 달라지는 임계값 기반 규칙로 특성화된다.
• 알고리즘은 그룹별 위험과 기각 비율을 명시적으로 제어하여 차별적 영향을 방지한다.