[논문 리뷰] Two Simple Ways to Learn Individual Fairness Metrics from Data

Debarghya Mukherjee, Mikhail Yurochkin외 2명|arXiv (Cornell University)|2020. 06. 19.

Ethics and Social Impacts of AI참고 문헌 50인용 수 25

한 줄 요약

이 논문은 유사한 입력들 또는 유사/비유사 입력 쌍을 기반으로 하여 개인의 공정성 메트릭을 데이터 기반으로 학습하는 두 가지 방법을 제안한다. 이를 통해 기계 학습 모델이 유사한 개인을 공정하게 대우할 수 있도록 한다. 이 방법은 임bedding에서 맨할로비스 거리 메트릭을 학습하며, 이로 인해 성별 및 인종 편향이 있는 작업에서 통계적 성능에 이론적 보장을 제공하면서도 공정성 향상을 이룬다.

ABSTRACT

Individual fairness is an intuitive definition of algorithmic fairness that addresses some of the drawbacks of group fairness. Despite its benefits, it depends on a task specific fair metric that encodes our intuition of what is fair and unfair for the ML task at hand, and the lack of a widely accepted fair metric for many ML tasks is the main barrier to broader adoption of individual fairness. In this paper, we present two simple ways to learn fair metrics from a variety of data types. We show empirically that fair training with the learned metrics leads to improved fairness on three machine learning tasks susceptible to gender and racial biases. We also provide theoretical guarantees on the statistical performance of both approaches.

연구 동기 및 목표

• 기계 학습에서 널리 수용되지 않은 공정성 메트릭의 부족을 해결함으로써 개인의 공정성의 도입을 저해하는 요소를 제거한다.
• 과제에 특화된 공정성 메트릭을 수동으로 정의하는 실용적 장벽을 극복하기 위해 이를 데이터에서 학습한다.
• 유사한 개인이 동일하게 대우되는 개인의 공정성—즉, 유사한 개인에 대해 유사하게 대우하는 것—을 데이터 기반 메트릭 학습을 통해 실현한다.
• 제안된 메트릭 학습 방법의 통계적 성능에 대한 이론적 보장을 제공한다.
• 성별 및 인종 편향이 존재하는 실제 기계 학습 과제에서 공정성 향상을 입증한다.

제안 방법

• 알려진 임베딩 $ \varphi $ 와 학습 가능한 행렬 $ \Sigma \in \mathbf{S}_+^d $ 를 사용하여 맨할로비스 거리 메트릭 $ d_x(x_1,x_2) = \langle \varphi(x_1) - \varphi(x_2), \Sigma(\varphi(x_1) - \varphi(x_2)) \rangle $ 을 학습한다.
• 첫 번째 방법: 유사하게 대우되어야 할 입력 그룹을 사용하여 내부 그룹 분산을 최소화함으로써 $ \Sigma $ 를 학습한다.
• 두 번째 방법: 유사 및 비유사 입력 쌍의 레이블이 제공된 데이터를 사용하여 대비 손실 함수를 최적화함으로써 $ \Sigma $ 를 학습한다.
• 스펙트럼 이론과 행렬 섭동 경계(예: 쿠라운트-파이셔 정리)를 활용하여 학습된 메트릭의 정확도에 대한 통계적 보장을 유도한다.
• 학습된 메트릭을 사용하여 공정한 모델을 훈련시키며, 립시츠 연속성과 후행 과제에서의 공정성 향상을 보장한다.
• 이론적 분석을 통해 소음과 유한한 데이터 하에서 학습된 메트릭 $ \Sigma $ 가 진정한 공정성 메트릭으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 수동으로 제작하거나 도메인 특화된 메트릭에 의존하지 않고 데이터에서 개인의 공정성 메트릭을 학습할 수 있는가?
• RQ2 학습된 공정성 메트릭은 입력 데이터의 노이즈나 레이블 오류에 대해 얼마나 강건한가?
• RQ3 데이터 기반 공정성 메트릭은 성별 및 인종 격차가 존재하는 실제 과제에서 기계 학습 모델의 편향을 효과적으로 줄일 수 있는가?
• RQ4 학습된 공정성 메트릭의 통계적 성능에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 학습된 메트릭을 사용하여 훈련된 모델은 후행 과제에서 공정성과 정확도를 동시에 확보할 수 있는가?

주요 결과

• 제안된 방법들은 성별 및 인종 편향이 알려진 세 가지 기계 학습 과제에서 공정성 향상을 크게 향상시키는 공정성 메트릭을 학습한다.
• 충분한 그룹 수준의 유사성 정보가 제공될 경우, 그룹 기반 방법이 쌍 기반 방법보다 공정성 향상에서 뛰어난 성능을 보인다.
• 이론적 분석을 통해 소음과 유한한 데이터 하에서 학습된 메트릭 $ \Sigma $ 가 진정한 공정성 메트릭으로 수렴함을 보이며, 추정 오차에 대한 경계를 제공한다.
• 이 방법들은 데이터 노이즈에 강건하여, 불완전하거나 노이즈가 있는 유사성 신호가 존재하더라도 공정성 향상을 유지한다.
• 실험 결과는 학습된 메트릭을 사용하여 훈련된 모델이 예측 정확도를 희생시키지 않고도 더 나은 공정성을 달성함을 보여준다.
• 학습된 메트릭은 과제 간으로 일반화되며, 복잡하거나 비선형적인 유사성 구조가 존재하는 경우에도 효과적이다.