[논문 리뷰] Pareto Efficient Fairness in Supervised Learning: From Extraction to Tracing

Mohammad Mahdi Kamani, Rana Forsati외 2명|arXiv (Cornell University)|2021. 04. 04.

Ethics and Social Impacts of AI참고 문헌 60인용 수 6

한 줄 요약

이 논문은 이중 최적화 문제로 문제를 공식화함으로써 지도 학습에서 공정성과 정확성의 균형을 이루는 정의에 구애받지 않는 프레임워크인 파레토 효율적 공정성(Pareto Efficient Fairness, PEF)을 소개한다. 이는 기울기 기반 방법을 제안하여 파레토 경계 솔루션으로 수렴함을 보장하며, 다양한 공정성 기준과 실제 데이터셋에서 공정성과 정확성 간 최적의 트레이드오프를 추출하고 추적할 수 있게 한다.

ABSTRACT

As algorithmic decision-making systems are becoming more pervasive, it is crucial to ensure such systems do not become mechanisms of unfair discrimination on the basis of gender, race, ethnicity, religion, etc. Moreover, due to the inherent trade-off between fairness measures and accuracy, it is desirable to learn fairness-enhanced models without significantly compromising the accuracy. In this paper, we propose Pareto efficient Fairness (PEF) as a suitable fairness notion for supervised learning, that can ensure the optimal trade-off between overall loss and other fairness criteria. The proposed PEF notion is definition-agnostic, meaning that any well-defined notion of fairness can be reduced to the PEF notion. To efficiently find a PEF classifier, we cast the fairness-enhanced classification as a bilevel optimization problem and propose a gradient-based method that can guarantee the solution belongs to the Pareto frontier with provable guarantees for convex and non-convex objectives. We also generalize the proposed algorithmic solution to extract and trace arbitrary solutions from the Pareto frontier for a given preference over accuracy and fairness measures. This approach is generic and can be generalized to any multicriteria optimization problem to trace points on the Pareto frontier curve, which is interesting by its own right. We empirically demonstrate the effectiveness of the PEF solution and the extracted Pareto frontier on real-world datasets compared to state-of-the-art methods.

연구 동기 및 목표

• 알고리즘 의사결정 시스템에서 공정성과 정확성 간의 본질적 트레이드오프를 다루기 위해.
• 기존 공정성 방법들이 파레토 효율성을 보장하지 못하거나 수렴 보장을 갖지 못하는 한계를 극복하기 위해.
• 모든 잘 정의된 공정성 개념에 적용 가능한 일반적인, 정의에 구애받지 않는 프레임워크를 제공하기 위해.
• 사용자 선호도에 따라 공정성과 정확성 간의 균형을 기반으로 파레토 경계를 따라 솔루션을 체계적으로 추출하고 추적할 수 있도록 하기 위해.
• 공정성 외에도 다기준 학습 문제, 특히 비볼록 설정에서 파레토 최적화의 적용 범위를 확장하기 위해.

제안 방법

• 내부 문제에서 공정성 제약을 강제하고 외부 문제에서 정확성을 최적화함으로써 공정성 향상 분류를 이중 최적화 문제로 공식화하기 위해.
• 볼록 및 비볼록 목표 함수 모두에 대해 파레토 효율적 솔루션으로 수렴함을 증명할 수 있는 기울기 기반 강하 알고리즘을 개발하기 위해.
• 모든 공정성 개념(예: 민족적 균형, 동일한 오차)을 공정성 의미를 유지하면서 PEF 프레임워크로 변환하기 위해.
• 공정성과 정확성 목표 간 선호도 가중치를 조정하여 파레토 경계 상의 임의의 점을 추적할 수 있는 방법을 도입하기 위해.
• 이중 최적화 과정에서 리더-팔로워 다이내믹스를 모델링하기 위해 스택엘베르크 게임 구조를 활용하기 위해.
• 이중 최적화 공식화에서 최적성 조건을 철저히 분석함으로써 이론적 수렴 보장을 확보하기 위해.

실험 결과

연구 질문

• RQ1 다양한 공정성 정의에 걸쳐 정의에 구애받지 않고 정확성에 손상을 주지 않고 파레토 효율성을 보장하는 통합 공정성 프레임워크를 설계할 수 있는가?
• RQ2 공정성-정확성 트레이드오프 최적화에서 파레토 경계를 따라 솔루션을 효율적으로 계산하고 추적할 수 있는가?
• RQ3 비볼록 목표 함수에 대해 기울기 기반 방법이 이중 최적화 공정성 최적화에서 수렴 행동을 어떻게 보이는가?
• RQ4 기존의 공정성 개념들이 의미적 무결성을 유지하면서 PEF 프레임워크로 얼마나 잘 축약될 수 있는가?
• RQ5 실제 데이터셋에서 최신 기술의 공정성 인식 모델과 비교해 볼 때, 제안된 방법은 공정성-정확성 트레이드오프 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 PEF 프레임워크는 볼록 및 비볼록 공정성 목표 모두에 대해 파레토 효율적 솔루션으로 수렴함을 보장하여 공정성과 정확성 간 최적의 트레이드오프를 확보한다.
• 이 방법은 파레토 경계 전체에서 솔루션을 체계적으로 추출하고 추적할 수 있게 하여 의사결정자가 선호하는 공정성-정확성 균형에 기반해 모델를 선택할 수 있도록 한다.
• 실제 데이터셋에 대한 경험적 평가 결과, PEF는 정확성의 심각한 저하 없이도 최신 기술보다 더 높은 공정성을 달성함을 보였다.
• 프레임워크는 정의에 구애받지 않아, 잘 정의된 모든 공정성 개념을 PEF로 축약할 수 있어 다양한 공정성 기준에 널리 적용 가능하다.
• 기울기 기반 정밀 조정을 통해 비볼록 공정성 제약을 효과적으로 처리함으로써 히우리스틱 완화에 의존하지 않으며, 이중 최적화 공식화가 성공적으로 비볼록 제약을 다룬다.
• 알고리즘이 다중 그룹 및 다중 레이블 공정성 설정에서 뛰어난 강건성을 보이며, 이중 민감한 특성과 이진 분류 작업을 초월하여 적용 가능하다.