[논문 리뷰] Kernel Dependence Regularizers and Gaussian Processes with Applications to Algorithmic Fairness

Zhu Li, Adrián Pérez-Suay외 2명|arXiv (Cornell University)|2019. 11. 11.

Machine Learning and Data Classification참고 문헌 35인용 수 12

한 줄 요약

이 논문은 힐버트-슈미트 독립성 기준(HSIC)을 사용하여 예측값과 민감 변수 간의 통계적 종속성을 페널티로 줄이는 커널 기반 정규화 프레임워크를 제안한다. 이를 통해 더 공정한 기계 학습이 가능해지며, 릿지 회귀에 대해 닫힌 형태의 해를 도출하고, 해석 가능한 초모수 선택이 가능한 원리적인 가우시안 프로세스(GP) 설정을 제공한다. 실제 소득 및 범죄 예측 작업에서 공정성-정확도 트레이드오프가 향상됨을 입증한다.

ABSTRACT

Current adoption of machine learning in industrial, societal and economical activities has raised concerns about the fairness, equity and ethics of automated decisions. Predictive models are often developed using biased datasets and thus retain or even exacerbate biases in their decisions and recommendations. Removing the sensitive covariates, such as gender or race, is insufficient to remedy this issue since the biases may be retained due to other related covariates. We present a regularization approach to this problem that trades off predictive accuracy of the learned models (with respect to biased labels) for the fairness in terms of statistical parity, i.e. independence of the decisions from the sensitive covariates. In particular, we consider a general framework of regularized empirical risk minimization over reproducing kernel Hilbert spaces and impose an additional regularizer of dependence between predictors and sensitive covariates using kernel-based measures of dependence, namely the Hilbert-Schmidt Independence Criterion (HSIC) and its normalized version. This approach leads to a closed-form solution in the case of squared loss, i.e. ridge regression. Moreover, we show that the dependence regularizer has an interpretation as modifying the corresponding Gaussian process (GP) prior. As a consequence, a GP model with a prior that encourages fairness to sensitive variables can be derived, allowing principled hyperparameter selection and studying of the relative relevance of covariates under fairness constraints. Experimental results in synthetic examples and in real problems of income and crime prediction illustrate the potential of the approach to improve fairness of automated decisions.

연구 동기 및 목표

• 인종이나 성별과 같은 민감한 속성과의 통계적 종속성을 줄임으로써 기계 학습에서 알고리즘 공정성을 해결한다.
• 민감 변수를 직접 제거하는 방법의 한계를 극복한다. 이는 관련 공변량이 여전히 편향을 유지할 수 있는 레드라인 및 생략된 변수 편향 문제를 야기하기 때문이다.
• 커널 기반 종속성 측정을 통해 통계적 평등을 강제하는 정규화 프레임워크를 개발한다. 이는 예측값이 민감 변수와 독립적이게 보장한다.
• 정규화된 커널 방법에서 유도된 가우시안 프로세스 설정을 통해 원리적인 초모수 선택과 모델 해석 가능성을 보장한다.
• 합성 데이터와 실제 데이터셋(Adult 소득 및 커뮤니티와 범죄)에서 본 방법의 효과성을 입증하며, 공정성-정확도 트레이드오프가 향상됨을 보여준다.

제안 방법

• 재생 힐버트 공간(RKHS) 상에서 정규화된 경험 리스크 최소화 문제로 공정성을 공식화하며, 예측값과 민감 변수 간의 종속성을 페널티로 줄이기 위해 HSIC 기반 정규화를 추가한다.
• 스케일 불변성과 해석 가능성 보장을 위해 정규화된 힐버트-슈미트 독립성 기준(HSIC)을 통계적 종속성 측정으로 사용한다.
• 정규화된 커널 릿지 회귀 문제에 대해 닫힌 형태의 해를 유도하여 효율적인 최적화와 이론적 분석을 가능하게 한다.
• 정규화된 커널 방법을 재해석하여, 공정성 제약이 커널 공분산 구조를 수정하는 가우시안 프로세스(GP)로 재정의한다.
• 공정성 제약 하에서 각 특성의 상대적 영향을 평가하기 위해 GP 프레임워크에 자동 관련성 결정(ARD) 커널을 도입한다.
• GP 프레임워크에서 우도 최대화를 통해 초모수 튜닝을 수행하여 원리적이고 강력한 모델 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 HSIC와 같은 커널 기반 종속성 측정이 기계 학습 모델의 정규화에 효과적으로 사용되어 예측의 통계적 평등을 달성할 수 있는가?
• RQ2 HSIC 정규화를 통합하면 커널 릿지 회귀에서 닫힌 형태의 해를 얻을 수 있으며, 기존 릿지 회귀와 비교해 어떤가?
• RQ3 정규화된 공정성 커널 방법이 자연스럽게 가우시안 프로세스로 확장될 수 있으며, 이는 초모수 선택과 해석 가능성 향상에 기여하는가?
• RQ4 민감 변수에 대해 학습된 커널 대역폭(예: ARD 파라미터)은 공정성 정규화 하에서 어떻게 변화하는가? 이는 그들의 예측에 대한 영향력에 대해 무엇을 시사하는가?
• RQ5 제안된 방법은 실제 예측 과제인 소득 및 범죄 예측에서 공정성-정확도 트레이드오프를 어느 정도 향상시키는가?

주요 결과

• 정규화된 커널 릿지 회귀는 닫힌 형태의 해를 달성하여, 공정한 예측 과제에 대해 효율적이고 확장 가능한 구현이 가능하다.
• 정규화된 커널 방법에서 유도된 GP 설정은 우도 최대화를 통한 원리적인 초모수 선택을 가능하게 하여 모델의 강건성을 향상시킨다.
• 커뮤니티와 범죄 데이터셋에서, ARD 커널을 사용한 공정한 GP는 민감 변수의 대역폭(θi)을 크게 증가시켰다. 예를 들어, 인종-블랙는 1.809에서 2.939로, 소득-아시아계는 17.76에서 386.2로 증가하여 이러한 특성의 예측에 대한 영향력이 감소함을 시사한다.
• 부정확성 지표는 표준 GP의 0.050 ± 0.001에서 공정한 GP의 0.0024 ± 0.0001로 감소하여 통계적 평등성 향상이 뚜렷하게 나타났다.
• 특히 Adult 소득 데이터셋에서 GP의 초모수 최적화의 이점이 두드러지게 나타나, 공정한 GP 모델이 표준 GP 및 커널 릿지 회귀보다 더 나은 공정성-정확도 트레이드오프를 달성했다.
• 이 방법은 민감 변수를 제거하지 않고도 그 영향력을 효과적으로 줄여, 실제 응용에서 레드라인 및 생략된 변수 편향 문제를 완화한다.