[논문 리뷰] Fair Sequential Selection Using Supervised Learning Models

Mohammad Mahdi Khalili, Xueru Zhang외 1명|arXiv (Cornell University)|2021. 10. 26.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 6

한 줄 요약

이 논문은 제한된 위치를 가진 순차적 선택 문제에 대한 새로운 공정성 개념인 Equal Selection (ES)을 도입하며, 기존의 공정성 지표인 동등 기회 및 통계적 평등성조차도 여전히 편향된 결과를 초래할 수 있음을 보여준다. 이는 민감한 특성 값이 차별적 개인정보 보호 기법에 의해 노이즈가 발생하더라도, 후처리 선형 프로그래밍 기법을 통해 ES 공정성을 강제할 수 있음을 보여주며, 인구 집단 간에 균형 잡힌 선택 비율을 확보한다.

ABSTRACT

We consider a selection problem where sequentially arrived applicants apply for a limited number of positions/jobs. At each time step, a decision maker accepts or rejects the given applicant using a pre-trained supervised learning model until all the vacant positions are filled. In this paper, we discuss whether the fairness notions (e.g., equal opportunity, statistical parity, etc.) that are commonly used in classification problems are suitable for the sequential selection problems. In particular, we show that even with a pre-trained model that satisfies the common fairness notions, the selection outcomes may still be biased against certain demographic groups. This observation implies that the fairness notions used in classification problems are not suitable for a selection problem where the applicants compete for a limited number of positions. We introduce a new fairness notion, ``Equal Selection (ES),'' suitable for sequential selection problems and propose a post-processing approach to satisfy the ES fairness notion. We also consider a setting where the applicants have privacy concerns, and the decision maker only has access to the noisy version of sensitive attributes. In this setting, we can show that the perfect ES fairness can still be attained under certain conditions.

연구 동기 및 목표

• 제한된 위치를 가진 순차적 선택 문제에서 기존의 군집 공정성 개념이 실패하는 공정성 지표의 격차를 보완하기 위해.
• 사전 훈련된 모델이 동등 기회나 통계적 평등성을 만족하더라도, 순차적 선택 환경에서는 여전히 차별적인 결과를 초래할 수 있음을 보여주기 위해.
• 모든 인구 집단에서 자격을 갖춘 지원자들이 선택될 확률이 동일하도록 보장하는 새로운 공정성 개념인 Equal Selection (ES)을 제안하기 위해.
• 사전 훈련된 모델에 대해 선형 프로그래밍을 활용한 후처리 방법을 개발하여 ES 공정성을 강제하기 위해.
• 민감한 특성이 노이즈가 발생하는 차별적 개인정보 보호 조건 하에서의 공정성 분석을 통해, 특정 조건 하에서는 완벽한 ES 공정성이 유지됨을 보여주기 위해.

제안 방법

• 모든 인구 집단에서 자격을 갖춘 지원자가 선택될 확률이 동일하도록 보장하는 공정성 기준으로 Equal Selection (ES)을 도입한다.
• 사전 훈련된 모델의 예측 결과를 조정하여 ES 제약 조건을 만족시키기 위해 후처리 접근 방식을 선형 프로그래밍을 통해 수립한다.
• 지원자들이 시간이 지남에 따라 도착하고, 모델 점수에 따라 수용 또는 기각되는 순차적 의사결정 문제로 선택 과정을 모델링한다.
• 민감한 특성을 차별적 개인정보 보호 기법을 통해 노이즈가 발생한 버전으로 모델링하여, 개인정보 泄露 정도를 국지적 차별적 개인정보 보호를 통해 정량화한다.
• 노이즈가 발생한 특성, 진정한 자격 수준, 그리고 예측 결과를 포함한 공동 확률 분포를 유도하여 공정성 지표를 계산한다.
• 정확도를 최대화하면서도 모든 집단 간에 동일한 선택 확률을 보장하는 공정한 예측자 찾기를 위한 최적화 문제를 해결한다.

실험 결과

연구 질문

• RQ1 제한된 위치를 가진 순차적 선택에서 기존의 공정성 개념인 동등 기회 및 통계적 평등성이 공정성을 보장할 수 있는가?
• RQ2 기존의 공정성 기준을 만족하는 사전 훈련된 모델이 순차적 환경에서는 여전히 편향된 선택 결과를 초래하는가?
• RQ3 제한된 위치를 가진 순차적 선택에서 인구 집단 간 균형 잡힌 대표성을 보장하는 새로운 공정성 개념을 정의할 수 있는가?
• RQ4 민감한 특성이 노이즈가 발생하는 차별적 개인정보 보호 조건 하에서도 완벽한 공정성을 달성할 수 있는가?
• RQ5 민감한 특성이 노이즈가 발생하는 조건에서, 제안된 ES 공정성 방법의 성능이 기존의 공정성 제약 조건과 비교해 어떻게 되는가?

주요 결과

• 사전 훈련된 모델이 동등 기회나 통계적 평등성을 만족하더라도, 제한된 위치를 가진 순차적 환경에서 자격을 갖춘 블랙 지원자의 선택 비율은 거의 0에 수렴한다.
• 제안된 Equal Selection (ES) 공정성 개념은 선택 확률을 균형 있게 유지하여, 백인과 블랙 자격자 간에 거의 동일한 선택 비율(0.487 및 0.480)을 달성한다.
• ES 공정성 하에서는 집단 간 선택 비율의 격차가 0으로 떨어지지만, 동등 기회나 공정성 제약 없이 적용할 경우 격차는 여전히 높게 유지되며(0.8 이상), 편향이 심하다.
• ES 공정성 하에서 정확도는 개인정보 유출량 ε가 무한대에 가까워질수록 0.66에 도달하며, 이는 동등 기회 및 공정성 없이 적용한 기준과 동일한 성능을 보인다.
• ES 공정성의 최적화 문제는 개인정보 유출량 ε가 임계값(ε ≥ 2.7)을 초과할 때에만 비영인 해를 가진다. 이는 이론적 경계와 일치한다.
• ε ≥ 3일 경우, ES 방법의 정확도 및 공정성 성능은 동등 기회 및 공정성 없이 적용한 기준과 구분되지 않으며, 실용적 타당성을 확인한다.