[논문 리뷰] Training individually fair ML models with Sensitive Subspace Robustness

Mikhail Yurochkin, Amanda Bower외 1명|arXiv (Cornell University)|2019. 06. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 41인용 수 53

한 줄 요약

이 논문은 개별 공정성을 민감한 입력 perturbation에 대한 강건성으로서 분포론적 강건화(DRO)와 Wasserstein 거리를 통해 정의하고, SenSR을 제시하여 민감한 부분공간에 공정한 모델을 학습시키며 이론적 보증과 실험적 결과를 제시한다.

ABSTRACT

We consider training machine learning models that are fair in the sense that their performance is invariant under certain sensitive perturbations to the inputs. For example, the performance of a resume screening system should be invariant under changes to the gender and/or ethnicity of the applicant. We formalize this notion of algorithmic fairness as a variant of individual fairness and develop a distributionally robust optimization approach to enforce it during training. We also demonstrate the effectiveness of the approach on two ML tasks that are susceptible to gender and racial biases.

연구 동기 및 목표

• 입력의 민감한 변화에 대한 강건성으로서 개별 공정성을 동기 부여하고 형식화한다.
• 공정한 Wasserstein 거리를 통해 분포론적 강건성 공정성(DRF)을 도입한다.
• 개별적으로 공정한 모델을 학습하기 위해 Sensitive Subspace Robustness(SenSR)를 제안하고 구현한다.
• 균등 수렴과 공정성 인증에 대한 이론적 보장을 제공한다.
• 감정 분석 및 소득 예측 과제에서 효과를 입증한다.

제안 방법

• 지정된 민감 방향을 무시하는 공정 메트릭 d_x를 정의하고, 입력과 출력을 연결하는 d_z를 사용하여 공정 Wasserstein 거리 W를 구성한다.
• ε-Wasserstein 구역 내의 분포들에 대해 손실을 최대화하도록 분포론적 강건 최적화(DRO) 문제를 풀어 모델 공정성을 감사한다(식 2.1).
• DRO 문제를 해석 가능한 이중형식(식 2.3)으로 변환하고 확률적 최적화(알고리즘 1)를 통해 푼다.
• 공정 학습을 미니맥스 DRO 문제(식 2.5)로 해석하고, 적대적 학습에서 영감을 얻은 SenSR 알고리즘(알고리즘 2)으로 해결한다.
• SenSR가 개별적으로 공정한 모델을 산출하고 공정성 인증을 할 수 있는 조건을 보장하는 균등 수렴 보장(제안 3.1–3.3)을 제공한다.
• 기존 DRO 및 적대적 공정성 방법과의 관계를 논하고 손실 함수 차이(A3) 및 메트릭 학습에 대해 논의한다.

실험 결과

연구 질문

• RQ1 개별 공정성은 데이터에서 학습되거나 관찰 가능한 속성으로부터 공정 메트릭이 학습될 때 어떻게 보장될 수 있는가?
• RQ2 공정 Wasserstein 거리를 사용하는 분포론적 강건화 최적화가 민감한 변화에 대해 강건하면서도 성능이 좋은 모델을 낳을 수 있는가?
• RQ3 이 설정에서 SenSR의 이론적 보장(균등 수렴, 공정성 인증)은 무엇인가?
• RQ4 관찰된 속성뿐만 아니라 관찰되지 않은 속성(예: 이름이 포함된 감정 분석)에서 SenSR은 어떤 성능을 보이는가?

주요 결과

• SenSR/DRF 학습은 공정 지표 간 격차를 크게 감소시키면서 정확도를 유지하는 모델을 제공한다(예: 감정 분석 과제에서 Race 및 Gend. 격차의 큰 감소를 보임).
• 감정 분석에서 SenSR 및 SenSR-E가 이름 간의 감정 예측이 거의 동일하게 나타나도록 하며, 개별 공정성에서 베이스라인 및 기타 디바이스 방법보다 우수하게 성능을 보인다.
• Adult 데이터세트에서 SenSR은 S-Con 및 GR-Con 공정성 지표를 개선하고 베이스라인과 비교하여 더 우수한 혹은 경쟁력 있는 그룹 공정성 지표를 달성하되 균형 정확도는 약간 감소하는 특징을 보인다.
• 논문은 일반화 경계(식 3.3 및 제안 3.1–3.3) 같은 증명형 보장을 제공하여 DRO 손실을 공정성 보장과 연결하고 실무자들이 공정성을 인증할 수 있게 한다.
• 이 접근법은 데이터에서 공정 메트릭을 학습하고(관찰된 속성 또는 미관찰 속성) 민감한 부분공간의 변경에 대해 강건성을 보이며, 과제 전반에 걸쳐 민감한 subspace perturbation에 대한 강건성을 입증한다.