[논문 리뷰] Addressing Fairness in Classification with a Model-Agnostic Multi-Objective Algorithm

Kirtan Padh, Diego Antognini외 3명|arXiv (Cornell University)|2020. 09. 09.

Ethics and Social Impacts of AI참고 문헌 26인용 수 6

한 줄 요약

이 논문은 통계적 평등성 기반의 정의를 더 정확히 근사하기 위해 쌍곡탄함수를 사용한 모델에 종속되지 않고 미분 가능한 정의의 유연성과, 동시에 여러 정의 기반 정의 지표와 민감한 속성에 대해 최적화하는 다목적 최적화 프레임워크를 제안한다. 실험 결과, 네 개의 실세계 데이터셋에서 기존 최고 수준의 방법들보다 훨씬 낮은 정확도 손실을 동반하면서도 뛰어난 정의 지표를 달성한다.

ABSTRACT

The goal of fairness in classification is to learn a classifier that does not discriminate against groups of individuals based on sensitive attributes, such as race and gender. One approach to designing fair algorithms is to use relaxations of fairness notions as regularization terms or in a constrained optimization problem. We observe that the hyperbolic tangent function can approximate the indicator function. We leverage this property to define a differentiable relaxation that approximates fairness notions provably better than existing relaxations. In addition, we propose a model-agnostic multi-objective architecture that can simultaneously optimize for multiple fairness notions and multiple sensitive attributes and supports all statistical parity-based notions of fairness. We use our relaxation with the multi-objective architecture to learn fair classifiers. Experiments on public datasets show that our method suffers a significantly lower loss of accuracy than current debiasing algorithms relative to the unconstrained model.

연구 동기 및 목표

• 기존 방법이 단일 정의 지표나 속성에 국한되어 있는 다목적 정의 최적화의 격차를 해소하기 위해.
• 쌍곡탄함수를 사용한 새로운 미분 가능한 유연성 제안을 통해 진정한 정의 지표 값의 근사치를 향상시키기 위해.
• 정확도와 여러 정의 지표 및 민감한 속성을 동시에 최적화할 수 있는 모델에 종속되지 않고 기반으로 하는 기울기 기반 다목적 알고리즘 개발을 위해.
• 기존 최고 수준의 정의 제거 알고리즘보다 더 나은 정의-정확도 트레이드오프를 달성하는지 실증적으로 검증하기 위해.
• 예를 들어 인종과 성별과 같은 다수의 민감한 속성과, 인구 통계적 평등성과 기회 평등성과 같은 다수의 정의 지표를 동시에 정의 제거하는 데서의 효과성을 입증하기 위해.

제안 방법

• 쌍곡탄함수를 사용한 정의 지표의 미분 가능한 유연성 제안으로, 이는 기존의 유연성보다 참값에 더 정확히 수렴함을 증명할 수 있다.
• 기울기 기반 최적화를 사용하여 정확도와 여러 정의 목표를 동시에 최적화하는 모델에 종속되지 않은 다목적 아키텍처 도입.
• 손실 함수에 정의 목표의 가중합을 사용하며, 하이퍼파ram터(예: λ)를 통해 정의와 정확도 사이의 트레이드오프를 제어한다.
• 민감한 속성에 관계없이 모든 통계적 평등성 기반 정의 지표를 지원하며, 인구 통계적 평등성(DP)과 기회 평등성(EOP) 포함.
• 정의 유연성은 목적 함수 내에서 미분 가능한 항으로 통합되어 있는 제약 최적화 프레임워크를 사용하여 엔드 투 엔드 학습이 가능하다.
• Compas와 Adult와 같은 데이터셋에서 인종과 성별에 동시에 정의 제거를 수행하는 단일 및 다중 정의 설정에 적용.

실험 결과

연구 질문

• RQ1 쌍곡탄함수 기반의 미분 가능한 유연성은 기존의 유연성보다 참값에 더 정확히 근사할 수 있는가?
• RQ2 모델에 종속되지 않고 다목적 최적화 프레임워크는 한 번의 학습 과정에서 여러 정의 지표와 민감한 속성을 효과적으로 균형 잡을 수 있는가?
• RQ3 제안된 방법은 실세계 데이터셋에서 현재 최고 수준의 정의 제거 알고리즘보다 더 나은 정의-정확도 트레이드오프를 달성하는가?
• RQ4 여러 민감한 속성(예: 인종과 성별)과 여러 정의 지표를 동시에 고려할 경우, 방법의 성능은 어떠한가?
• RQ5 특히 상충되는 정의 지표(예: 인구 통계적 평등성 대 기회 평등성)일 경우, 방법이 정의 지표 간의 본질적 트레이드오프를 얼마나 효과적으로 완화하는가?

주요 결과

• 쌍곡탄함수를 사용한 제안된 유연성은 기존의 유연성보다 참값에 더 정확히 수렴함을 증명하여 더 정확한 정의 최적화를 가능하게 한다.
• Adult 및 Compas 데이터셋에서 S-MAMO-fair 모델은 모든 베이스라인 대비 가장 낮은 정확도 손실을 기록했으며, 정의 성능은 유지하거나 향상시켰다.
• Compas 데이터셋에서 M-MAMO-fair 모델은 정의 손실(HV) 0.61 ± 0.01과 인구 통계적 평등성 손실(SP) 0.21 ± 0.09를 기록하여 제약이 없는 모델과 베이스라인을 크게 능가했다.
• Adult 데이터셋에서 M-MAMO-fair 모델은 정의 손실(HV) 0.60 ± 0.09와 인구 통계적 평등성 손실(SP) 0.04 ± 0.02를 기록하여 두 지표 모두 뛰어난 성능을 보였다.
• 다중 정의 알고리즘이 반의 경우 단일 정의 베이스라인을 능가했으며, 특히 Adult와 CelebA에서 더 높은 정확도와 정의 지표를 달성해 기존 방법들을 능가했다.
• 상충되는 정의 제약을 효과적으로 다룰 수 있었으며, Compas 데이터셋에서 기회 평등성은 양호한 성능을 기록했지만 인구 통계적 평등성은 그렇지 못했다—이것은 알려진 불가능성 결과와 일치했다.