[논문 리뷰] Closing the Gender Wage Gap: Adversarial Fairness in Job Recommendation

Clara Rus, Jeffrey Luppes외 2명|arXiv (Cornell University)|2022. 09. 20.

Hate Speech and Cyberbullying Detection인용 수 8

한 줄 요약

이 논문은 직업 공고 및 이력서 텍스트에서 유도된 word2vec 임베딩에 대해 적대적 편향 제거 기법을 제안하여 직업 추천 시 성별 기반 임금 격차를 줄인다. 임베딩에서 성별 예측을 최소화하면서 직업 관련 특징을 유지하기 위해 생성적 적대적 네트워크를 사용한 방법으로, 평균 여성 대 남성 임금 격차를 연간 €1,680에서 €180으로 줄여 통계적 평등성을 달성하면서 추천 성능을 훼손하지 않는다.

ABSTRACT

The goal of this work is to help mitigate the already existing gender wage gap by supplying unbiased job recommendations based on resumes from job seekers. We employ a generative adversarial network to remove gender bias from word2vec representations of 12M job vacancy texts and 900k resumes. Our results show that representations created from recruitment texts contain algorithmic bias and that this bias results in real-world consequences for recommendation systems. Without controlling for bias, women are recommended jobs with significantly lower salary in our data. With adversarially fair representations, this wage gap disappears, meaning that our debiased job recommendations reduce wage discrimination. We conclude that adversarial debiasing of word representations can increase real-world fairness of systems and thus may be part of the solution for creating fairness-aware recommendation systems.

연구 동기 및 목표

• 채용 텍스트 임베딩의 성별 편향이 불공정한 직업 추천과 임금 격차를 초래하는지 조사하기.
• 산업 규모의 직업 추천 시스템에서 성별 편향을 완화하기 위한 적대적 편향 제거 방법의 평가.
• 편향 제거된 표현이 임금 추천에서의 불공정한 결과를 줄이면서도 임무 관련 정보를 유지하는지 평가하기.
• 적대적 공정성이 자동화된 채용 시스템에서 측정 가능한 실제 공정성 향상으로 이어질 수 있음을 입증하기.

제안 방법

• 1,200만 건의 익명화된 직업 공고 텍스트를 기반으로 300차원의 word2vec 모델을 훈련하여 문서 수준의 임베딩을 생성하기.
• 생성자(generator)가 편향이 제거된 표현을 생성하고, 판별자(discriminator)가 그로부터 성별을 예측하려는 생성적 적대적 네트워크(GAN) 프레임워크를 사용하기.
• 공정성(성별 예측 AUC 최소화)과 유틸리티(산업군 분류 정확도 최대화)를 균형 잡는 손실 함수를 사용해 생성자를 최적화하기.
• 공정성과 성능 간의 트레이드오프를 제어하기 위해 초모수 α와 β를 사용해 적대적 훈련 과정을 적용하기.
• 이력서와 공고 임베딩 간의 코사인 유사도를 기반으로 결과 임베딩을 직업 추천 시스템에서 평가하기.
• 계산 자원 제약으로 인해 고정된 데이터 분할을 사용해 모델 훈련을 수행하였으며, 성능은 다중 레이블 산업군 분류 작업을 통해 검증하였다.

실험 결과

연구 질문

• RQ1 채용 텍스트에서 유도된 단어 임베딩의 성별 편향이 직업 추천에서 측정 가능한 임금 격차를 초래하는가?
• RQ2 적대적 편향 제거가 임베딩의 성능을 떨어뜨리지 않고 성별 기반 격차를 효과적으로 줄일 수 있는가?
• RQ3 편향 제거된 표현이 원래 편향된 임베딩에 비해 직업 배치에 관련된 정보를 어느 정도 유지하는가?
• RQ4 적대적 편향 제거로 인한 공정성 향상은 실제 결과, 예를 들어 임금 평등성과 같은 결과에 반영되는가?
• RQ5 다중 레이블 분류 설정에서 공정성과 예측 성능 간의 트레이드오프는 어떻게 나타나는가?

주요 결과

• 원래의 word2vec 임베딩는 강력한 성별 편향을 보였으며, 성별 예측 AUC가 0.94로 텍스트 표현에서 성별을 높이 예측 가능함을 나타냈다.
• 적대적 편향 제거 방법은 성별 예측 AUC를 0.82로 낮춰 임베딩에서 성별을 추론할 수 있는 능력을 뚜렷이 감소시켰다.
• 여성과 남성으로 신고한 직업 구직자 간의 평균 연간 임금 격차는 €1,680에서 €180으로 줄어들었으며, 격차가 89% 감소한 셈이다.
• 통계적 평등성이 향상되었으며, 편향 제거 후 임금 격차는 통계적으로 유의미하지 않게 되어 공정한 추천 결과를 나타냈다.
• 산업군 분류 작업에서의 성능은 여전히 우수했으며, 정확도가 0.89로 유지되어 관련 직업 정보가 유지됨을 보여주었다.
• 이 방법은 양성별 평균 급여를 높였으며, 여성의 경우 상대적으로 더 큰 증가율을 보였고, 한 그룹을 희생시켜 공정성을 달성하는 트레이드오프를 피했다.