[논문 리뷰] Fairness-Aware Neural Réyni Minimization for Continuous Features

Vincent Grari, Boris Ruf외 2명|arXiv (Cornell University)|2019. 11. 12.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 8

한 줄 요약

이 논문은 연속적인 민감 변수를 가진 회귀 모델에서 공정성을 향상시키기 위해 히르슈펠트-지블라인-레니의(Hirschfeld-Gebelein-Rényi, HGR) 상관계수를 최소화하는 두 가지 신경망 기반 방법을 제안한다. 첫 번째 방법은 MINE 유사 신경 추정기로 χ² 분산의 상한을 줄이는 방식이며, 두 번째 방법은 HGR를 직접 최소화하기 위해 적대적 아키텍처를 사용한다. 두 방법 모두 실제 및 시뮬레이션 데이터셋에서 기존의 최고 수준의 공정성 성능을 달성하며, FairQuant와 같은 공정성 지표에서 기존 연구를 능가한다.

ABSTRACT

The past few years have seen a dramatic rise of academic and societal interest in fair machine learning. While plenty of fair algorithms have been proposed recently to tackle this challenge for discrete variables, only a few ideas exist for continuous ones. The objective in this paper is to ensure some independence level between the outputs of regression models and any given continuous sensitive variables. For this purpose, we use the Hirschfeld-Gebelein-Rényi (HGR) maximal correlation coefficient as a fairness metric. We propose two approaches to minimize the HGR coefficient. First, by reducing an upper bound of the HGR with a neural network estimation of the $χ^{2}$ divergence. Second, by minimizing the HGR directly with an adversarial neural network architecture. The idea is to predict the output Y while minimizing the ability of an adversarial neural network to find the estimated transformations which are required to predict the HGR coefficient. We empirically assess and compare our approaches and demonstrate significant improvements on previously presented work in the field.

연구 동기 및 목표

• 민감 변수가 연속적인 경우(예: 나이 또는 소득) 회귀 모델의 공정성 문제를 해결하기 위해.
• 모델 예측과 연속적인 민감 변수 간의 종속성을 최소화하는 일반화 가능한 방법을 개발하기 위해.
• 이산적 또는 이진 민감 변수에 집중한 기존 접근법을 초월하기 위해.
• 비선형 종속성을 포괄하는 HGR 상관계수 기반의 새로운 공정성 지표를 도입하기 위해.
• 실제 및 인위적 데이터셋에서 제안된 방법을 철저한 공정성 평가를 통해 경험적으로 검증하기 위해.

제안 방법

• 상호정보 신경추정(Mutual Information Neural Estimation, MINE)에 영감을 받아, 모델 예측과 연속적인 민감 변수 간의 χ² 분산의 상한을 추정하고 최소화하기 위해 신경망을 사용한다.
• 판별자(discriminator)가 HGR 계수를 예측하기 위해 비선형 변환을 학습하는 적대적 신경망 아키텍처를 사용하며, 주 모델은 이러한 예측 능력을 최소화하도록 훈련된다.
• 두 가지 공정성 손실 함수를 도입한다: 하나는 χ² 분산 추정 기반(χ²-NN), 다른 하나는 적대적 훈련을 통해 HGR를 직접 최소화하는 방식(Fair HGR NN).
• 표준 딥러닝 컴포넌트를 적용한다: Tanh 활성화 함수, Xavier 초기화, 드롭아웃, 그리고 회귀에 적합한 MSE 손실 함수.
• 훈련 중에 모델 정확도(MSE)와 공정성 목표를 균형 잡기 위해 하이퍼파rameter λ를 사용한다.
• 민감 변수의 50개 분위수에서 공정성을 평가하여 추정 편향을 줄이는 데 목적이 있는 새로운 공정성 지표인 FairQuant를 도입한다.

실험 결과

연구 질문

• RQ1 χ² 분산의 신경망 기반 추정이 연속적인 민감 변수와 모델 예측 간의 종속성을 효과적으로 최소화할 수 있는가?
• RQ2 HGR 계수를 직접 적대적으로 최소화하는 방식이 간접적 방법에 비해 회귀 모델의 공정성에 더 나은 성능을 내는가?
• RQ3 제안된 방법은 Mary2019와 같은 기존 접근법에 비해 공정성과 예측 정확도 측면에서 어떻게 비교되는가?
• RQ4 데이터셋 크기가 χ² KDE 및 χ² NN와 같은 공정성 추정기의 신뢰성에 어떤 영향을 미치는가?
• RQ5 분위수 기반 공정성 평가인 FairQuant 지표는 기존의 표준 HGR 또는 χ² 추정 방식에 비해 더 견고한 평가를 제공할 수 있는가?

주요 결과

• Fair HGR NN는 모든 데이터셋에서 정확도와 공정성의 최적의 균형을 달성하여 표준 신경망 및 Mary2019 기준선을 모두 능가했다.
• 미국 인구 조사 데이터셋에서 Fair HGR NN는 민감성 평등성에 대해 가장 낮은 FairQuant 점수(1.12)를 기록하여 뛰어난 공정성 성능를 입증했다.
• 등가 잔차(equalized residuals) 기준으로 Fair HGR NN는 가장 낮은 FairQuant 점수(범죄 데이터셋 0.98, UC 인구 조사 1.02, Adult 1.05)를 기록하여 강력한 공정성 성능를 입증했다.
• χ²-NN 방법은 Fair HGR NN에 비해 略로 나은 성능을 보였지만, 대부분의 지표에서 Mary2019를 능가했으며, 특히 큰 데이터셋에서 두각을 나타냈다.
• 작은 크기의 범죄 데이터셋(2,000개 샘플)에서는 χ² KDE와 χ² NN 간에 상당한 차이가 나타나, 낮은 데이터 환경에서의 추정 불안정성을 드러냈다.
• MINE 기반 접근법은 공정성과 정확도 양 측면에서 Fair HGR NN 및 χ²-NN보다 열등한 성능를 보였으며, 이 특정 구현에서의 한계를 시사했다.