[논문 리뷰] FARE: Provably Fair Representation Learning with Practical Certificates

Nikola Jovanović, Mislav Balunović외 2명|arXiv (Cornell University)|2022. 10. 13.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

FARE는 입력 데이터의 표현을 유한한 표현 집합으로 제한함으로써 실용적이고 증명 가능한 공정성 인증을 제공하는 새로운 공정한 표현 학습 방법이다. 트리 기반 인코더를 사용하여 어떤 후행 분류기의 공정성에 대한 고신뢰도 상한을 계산하며, 실제 데이터셋에서 타이트한 인증과 경쟁 가능한 정확도-공정성 트레이드오프를 달성한다.

ABSTRACT

Fair representation learning (FRL) is a popular class of methods aiming to produce fair classifiers via data preprocessing. Recent regulatory directives stress the need for FRL methods that provide practical certificates, i.e., provable upper bounds on the unfairness of any downstream classifier trained on preprocessed data, which directly provides assurance in a practical scenario. Creating such FRL methods is an important challenge that remains unsolved. In this work, we address that challenge and introduce FARE (Fairness with Restricted Encoders), the first FRL method with practical fairness certificates. FARE is based on our key insight that restricting the representation space of the encoder enables the derivation of practical guarantees, while still permitting favorable accuracy-fairness tradeoffs for suitable instantiations, such as one we propose based on fair trees. To produce a practical certificate, we develop and apply a statistical procedure that computes a finite sample high-confidence upper bound on the unfairness of any downstream classifier trained on FARE embeddings. In our comprehensive experimental evaluation, we demonstrate that FARE produces practical certificates that are tight and often even comparable with purely empirical results obtained by prior methods, which establishes the practical value of our approach.

연구 동기 및 목표

• 기계학습에서 편향된 모델이 법적, 재정적, 사회적 피해를 초래할 수 있는 고위험 응용 분야에서 증명 가능한 공정성 보장을 위한 필수적인 필요성을 해결한다.
• 기존의 공정한 표현 학습 방법들이 후행 분류기의 실용적이고 유한 표본 기반의 공정성 인증을 제공하지 못하는 한계를 극복한다.
• 데이터 분포나 모델 행동에 대한 지식을 가정하지 않고도 불공정성에 대한 타이트하고 고신뢰도의 상한을 제공하는 방법을 개발한다.
• 임베딩에 기반해 훈련된 어떤 분류기라도 증명 가능한 공정성을 보장함으로써 공정한 표현의 실용적 구현을 가능하게 한다. 이는 소비자가 적대적이거나 공정성에 대해 무지할 경우에도 성립한다.
• 효율적이고 해석 가능한 인코더를 설계하여 정확도와 공정성의 균형을 이루며, 이와 동시에 이론적 보장을 제공한다.

제안 방법

• 입력 데이터를 유한한 표현 집합으로 매핑하는 제한된 인코더를 도입하여 표현 공간을 제한함으로써 이론적 분석이 가능하게 한다.
• 결정트리 기반 인코더를 사용하여 입력 공간을 k개의 셀로 분할하고, 각 셀을 하나의 표현 벡터로 매핑함으로써 이산적이고 해석 가능한 표현을 가능하게 한다.
• 훈련 데이터를 사용하여 각 표현 셀 내의 민감 속성의 경험적 분포를 추정하고, P(s=0|z_i)와 P(s=1|z_i)를 계산한다.
• 후행 분류기가 표현에 기반해 훈련될 경우에 대한 인구 통계적 평등성 거리에 대한 고신뢰도, 유한 표본 상한을 통계적 절차를 통해 계산한다.
• 집중 불등식과 경험적 추정치를 활용하여, G 내의 모든 가능한 분류기에서 불공정성을 증명 가능한 상한으로 제한하는 공정성 인증 T*를 유도한다.
• 표현 공간의 유한성과 통계적 신뢰구간을 활용하여 인증이 타이트하고 공백이 아닌 상태를 유지한다.

실험 결과

연구 질문

• RQ1 우리는 분포 가정 없이도 어떤 후행 분류기의 실용적이고 유한 표본 기반의 공정성 인증을 제공하는 공정한 표현 학습 방법을 설계할 수 있는가?
• RQ2 인코더의 표현 공간을 어떻게 제한하여 증명 가능한 공정성 보장을 확보하면서도 유리한 정확도-공정성 트레이드오프를 유지할 수 있는가?
• RQ3 실제 데이터셋에서 기존 방법의 경험적 공정성 추정치와 비교해 공정성 인증 T*는 어느 정도 타이트하고 비공백이 될 수 있는가?
• RQ4 FARE 표현의 해석 가능성과 전이 가능성은 다중 작업 및 후행 예측 설정에서 최신 기술의 FRL 방법과 비교해 어떻게 다른가?
• RQ5 제한된 인코더 프레임워크는 다중값 민감 속성 또는 분포 변화를 다룰 수 있도록 확장될 수 있으며, 이 경우에도 공정성 보장을 유지할 수 있는가?

주요 결과

• FARE는 기존 방법의 순수 경험적 공정성 추정치와 크기에서 유사한 타이트하고 실용적인 공정성 인증 T*를 생성한다.
• 여러 실생활 데이터셋에서 FARE는 증명 가능한 보장을 제공함에도 불구하고 최신 기술의 FRL 방법과 경쟁 가능한 경험적 정확도-공정성 트레이드오프를 달성한다.
• 전이 학습 평가에서 FARE는 Health 데이터셋의 5개의 새로운 작업에서 일관되게 인구 통계적 평등성 거리 ΔDP ≤ 0.20 이하로 감소시키며 유효한 인증을 유지한다.
• 같은 공정성 기준에서 FARE의 정확도는 일부 베이스라인(예: 79.3% vs. 79.8% on task MIS)보다 略로 낮지만, 이는 증명 가능한 공정성 보장을 얻기 위한 트레이드오프이다.
• 트리 기반 인코더는 직접적인 해석 가능성을 제공한다. 예를 들어, 표현 z₆는 24세 이상이면서 학사 학위를 소지하고 관리/관련 직업에 종사하는 개인을 의미한다.
• 다양한 후행 모델(예: 1-NN, SVM)에서도 인증 T*가 유효하게 유지되며, 이는 특정 모델 유형에 의존하는 기존 방법에서 관찰되는 불공정성의 과소평가를 방지한다.