[논문 리뷰] Learning Individually Fair Classifier with Path-Specific Causal-Effect Constraint

Yoichi Chikahara, Shinsaku Sakaue외 2명|arXiv (Cornell University)|2020. 02. 17.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 데이터로부터 추정 가능한 PIU(개별적 불공정성 확률)의 상한선을 최소화하여, 제약적인 기능 가정 없이 개인 수준의 공정성을 확보하는 새로운 프레임워크를 제안한다. 이 방법은 예측 정확도의 약간의 감소만으로도 강력한 공정성을 달성하며, 합성 데이터 및 잠재적 혼동요인 상황에서 기존 방법들을 능가한다.

ABSTRACT

Machine learning is used to make decisions for individuals in various fields, which require us to achieve good prediction accuracy while ensuring fairness with respect to sensitive features (e.g., race and gender). This problem, however, remains difficult in complex real-world scenarios. To quantify unfairness under such situations, existing methods utilize {\it path-specific causal effects}. However, none of them can ensure fairness for each individual without making impractical functional assumptions on the data. In this paper, we propose a far more practical framework for learning an individually fair classifier. To avoid restrictive functional assumptions, we define the {\it probability of individual unfairness} (PIU) and solve an optimization problem where PIU's upper bound, which can be estimated from data, is controlled to be close to zero. We elucidate why our method can guarantee fairness for each individual. Experimental results show that our method can learn an individually fair classifier at a slight cost of accuracy.

연구 동기 및 목표

• 데이터에 대한 비현실적인 기능 가정에 의존하지 않고 기계 학습에서 개인 수준의 공정성을 달성하는 데 도전하는 것.
• 개별적 불공정성의 확률(PIU)을 제어함으로써 각 개인에 대해 공정성을 보장하는 실용적인 프레임워크를 개발하는 것.
• 관측된 데이터로부터 PIU의 상한선을 추정하고 최소화하여, 반사적 결과에 직접 접근할 수 없더라도 공정한 분류기 학습을 가능하게 하는 것.
• 잠재적 혼동요인을 다룰 수 있도록 프레임워크를 확장하여, 관측되지 않은 변수가 존재하는 실제 세계 시나리오에서의 공정성을 향상시키는 것.
• 공정성과 예측 정확도의 균형을 이루며, 공정성을 달성하는 데 정확도가 약간만 손상된다는 것을 보여주는 것.

제안 방법

• 개별적 불공정성의 확률(PIU)을 경로별 인과적 영향(불공정한 영향)이 비영일 확률로 정의한다.
• 관측된 데이터로부터 추정 가능한 상한선을 도출하며, 이는 국소 잠재 결과 확률을 사용하여 유도된다.
• 학습 중에 PIU의 상한선을 최소화하는 펜alties가 포함된 최적화 문제를 설정하며, 공정성과 정확도의 균형을 이루기 위해 하이퍼파rameter λ를 사용한다.
• 2층 신경망을 분류기로 사용하며, PIU의 상한선 기반 펜alty 항을 통해 불공정한 결정을 억제한다.
• PIU 상한선 내에서 국소 잠재 결과 확률의 더 신뢰할 수 있는 추정치를 통합함으로써, 잠재적 혼동요인을 다룰 수 있도록 프레임워크를 확장한다.
• 합성 데이터셋(잠재적 혼동요인이 있는 경우와 없는 경우)에 대해 본 방법을 적용하고, PSCF, FIO 및 비제약 모델과의 공정성과 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 데이터에 제약적인 기능 가정을 두지 않고 기계 학습에서 개인 수준의 공정성을 달성할 수 있는가?
• RQ2 관측된 데이터로부터 개별적 불공정성의 확률(PIU)을 어떻게 추정하고 제어할 수 있는가?
• RQ3 PIU의 상한선을 최소화하는 것이 실제로 개인 수준의 공정성을 달성하는 데 기여하는가?
• RQ4 잠재적 혼동요인이 존재하는 상황에서도, 제안된 방법이 높은 예측 정확도를 유지하면서 공정성을 확보할 수 있는가?
• RQ5 PSCF 및 FIO와 같은 기존 방법들과 비교할 때, 본 방법의 공정성과 정확도는 어떻게 다른가?

주요 결과

• 제안된 방법은 합성 데이터에서 PIU를 5.04 × 10⁻²로 달성하여 기준 방법보다 유의미하게 낮추었으며, 비제약 모델 대비 테스트 정확도가 1.3% 뿐 감소하였다.
• 진짜 PIU에 대한 오라클 액세스가 가능한 상황에서, 본 방법은 PIU를 2.63 × 10⁻²로 달성하여 상한선 추정의 효과성을 입증하였다.
• 잠재적 혼동요인이 존재하는 상황에서, 확장된 프레임워크(Proposed ex)는 Proposed 및 FIO보다 낮은 불공정 효과 통계치를 기록하여 공정성 향상을 보였다.
• Proposed ex는 테스트 정확도 95.7% ± 0.5를 기록하여 PSCF(93.8% ± 0.9) 및 Remove(94.0% ± 0.6)를 모두 능가하며, 더 나은 정확도-공정성 트레이드오프를 보였다.
• PSCF와 달리 강력한 가정이 필요로 하지 않음에도 불구하고, 본 방법은 불공정 효과를 거의 0에 가깝게 줄였다.
• 결과는 PIU의 상한선을 최소화하는 것이 실제로 개인 수준의 불공정성을 효과적으로 통제함을 확인하며, 본 방법의 이론적 기반을 검증한다.