[논문 리뷰] Achieving Equalized Odds by Resampling Sensitive Attributes

Yaniv Romano, Stephen Bates외 1명|arXiv (Cornell University)|2020. 01. 01.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 민감한 속성의 재표본화를 통해 위반 사항에 대한 페널티를 주어 기계학습 모델에서 동일한 기회 정당성(fairness)을 강제하는 미분 가능한 프레임워크를 제안한다. 불일치 기능을 구축하고 재표본화를 통해 정당성을 확보함으로써, 모델 성능을 향상시키고 정당성에 대한 엄밀한 가설 검정을 가능하게 하며, 이는 회귀 및 다중 분류 작업에 응용된다.

ABSTRACT

We present a flexible framework for learning predictive models that approximately satisfy the equalized odds notion of fairness. This is achieved by introducing a general discrepancy functional that rigorously quantifies violations of this criterion. This differentiable functional is used as a penalty driving the model parameters towards equalized odds. To rigorously evaluate fitted models, we develop a formal hypothesis test to detect whether a prediction rule violates this property, the first such test in the literature. Both the model fitting and hypothesis testing leverage a resampled version of the sensitive attribute obeying equalized odds, by construction. We demonstrate the applicability and validity of the proposed framework both in regression and multi-class classification problems, reporting improved performance over state-of-the-art methods. Lastly, we show how to incorporate techniques for equitable uncertainty quantification---unbiased for each group under study---to communicate the results of the data analysis in exact terms.

연구 동기 및 목표

• 예측 모델에서 동일한 기회 정당성을 확보하는 데 도전하는 문제, 특히 인종이나 성별과 같은 민감한 속성이 있는 상황에서의 해결.
• 최적화 기반의 정당성 향상을 가능하게 하는, 동일한 기회 정당성 위반 정도를 측정하는 미분 가능한 불일치 기능 개발.
• 문헌에서 처음으로, 모델이 동일한 기회 정당성을 위반하는지 엄밀하게 탐지할 수 있는 공식적인 가설 검정 개발.
• 민감 그룹 간에 편향되지 않은 예측 간격 또는 신뢰 구간을 보장하는 정당한 불확실성 정량화 기법 통합으로, 투명하고 공정한 모델 해석 보장.
• 프레임워크의 효과성을 회귀 및 다중 분류 작업 전반에서 입증하며, 최신 기술보다 뛰어난 성능을 보여줌.

제안 방법

• 민감 그룹 간에 모델 예측이 동일한 기회 정당성을 얼마나 위반하는지 측정하는, 미분 가능한 불일치 기능 도입.
• 민감 속성의 재표본화를 통해 동일한 기회 정당성을 내재적으로 만족하는 프록시를 구성하고, 이를 모델 학습 및 가설 검정 모두에 활용.
• 불일치 기능을 모델의 목적 함수에 페널티 항으로 적용하여 파라미터가 동일한 기회 정당성 준수 방향으로 수렴하도록 유도.
• 재표본화된 민감 속성을 사용하여 유의수준 제어가 가능한 형식적 통계적 가설 검정을 수행해 동일한 기회 정당성 위반 여부 탐지.
• 민감 그룹 간에 편향되지 않은 예측 간격 또는 신뢰 구간을 보장하는 정당한 불확실성 정량화 기법 통합.
• 표준 최적화 기법을 사용해 페널티 항이 포함된 모델을 훈련함으로써, 정당성 제약 조건을 유지하면서도 엔드 투 엔드 학습 가능.

실험 결과

연구 질문

• RQ1 기계학습 모델에서 동일한 기회 정당성을 강제하는, 미분 가능하고 최적화 기반의 프레임워크를 설계할 수 있는가?
• RQ2 민감 속성의 재표본화된 버전을 사용해 정당한 모델 학습과 정당성 위반 검출을 동시에 수행할 수 있는가?
• RQ3 형식적 통계적 가설 검정을 통해 동일한 기회 정당성 위반 여부를 엄밀한 제1종 오류 제어로 탐지할 수 있는가?
• RQ4 제안된 방법이 회귀 및 다중 분류 작업에서 최신 기술보다 모델 성능을 향상시키는가?
• RQ5 민감 그룹 간에 공정하게 해석 가능한 예측 모델을 확보하기 위해 정당한 불확실성 정량화를 통합할 수 있는가?

주요 결과

• 제안된 프레임워크는 모델 학습 중 정당성 위반에 대한 페널티를 주는 미분 가능한 불일치 기능을 사용해 동일한 기회 정당성을 성공적으로 강제한다.
• 재표본화된 민감 속성의 사용으로 학습 및 가설 검정이 모두 설계상 동일한 기회 정당성을 만족하는 구조에 기반하게 된다.
• 문헌에서 처음으로 동일한 기회 정당성 위반에 대한 공식적인 가설 검정을 개발하여 예측 모델의 정당성에 대한 엄밀한 통계적 평가가 가능해졌다.
• 실증 결과는 이 프레임워크가 모두 회귀 및 다중 분류 작업에서 최신 기술보다 뛰어난 성능을 보임을 보여준다.
• 정당한 불확실성 정량화 기법이 성공적으로 통합되어 민감 그룹 간에 편향되지 않은 예측 간격이 확보되었다.
• 이 프레임워크는 정당성과 해석 가능성 유지하면서도 다양한 기계학습 문제에 대해 강건하고 적용 가능함을 입증했다.