[논문 리뷰] Spectral Algorithms for Computing Fair Support Vector Machines

Matt Olfat, Anil Aswani|arXiv (Cornell University)|2017. 10. 16.

Face and Expression Recognition참고 문헌 22인용 수 8

한 줄 요약

이 논문은 보호된 집단에 조건부로 설정된 공분산 행렬에 비볼록 제약 조건을 도입함으로써 정규 스펙트럼 알고리즘을 제안하여 공정한 서포트 벡터 머신(SVM)을 계산한다. 비볼록성을 다루기 위해 반복적인 스펙트럼 분해를 사용한다. 이 방법은 예측 정확도를 유지하면서도 모든 임계값에서 공정성을 확보하여, 정확도 손실가 최소화되고 공정성 제어가 향상된 실수 및 시뮬레이션 데이터셋에서 기존 기준 방법을 능가한다.

ABSTRACT

Classifiers and rating scores are prone to implicitly codifying biases, which may be present in the training data, against protected classes (i.e., age, gender, or race). So it is important to understand how to design classifiers and scores that prevent discrimination in predictions. This paper develops computationally tractable algorithms for designing accurate but fair support vector machines (SVM's). Our approach imposes a constraint on the covariance matrices conditioned on each protected class, which leads to a nonconvex quadratic constraint in the SVM formulation. We develop iterative algorithms to compute fair linear and kernel SVM's, which solve a sequence of relaxations constructed using a spectral decomposition of the nonconvex constraint. Its effectiveness in achieving high prediction accuracy while ensuring fairness is shown through numerical experiments on several data sets.

연구 동기 및 목표

• 특정 결정 임계값이 아닌 모든 결정 임계값에서 공정성을 확보함으로써 기계 학습 분류기, 특히 SVM에서의 공정성 문제를 해결한다.
• 예측 정확도를 유지하면서도 보호된 집단(예: 성별, 인종)에 대한 편향을 줄이는 계산적으로 타당한 알고리즘을 개발한다.
• 수신기 작동 특성(ROC) 곡선을 사용하여 공정성의 시각화 및 분석을 향상시키기 위해 공정성의 재정의를 시도한다.
• 선형 및 커널 SVM에서 공정성을 확보하기 위해 조건부 공분산 행렬을 기반으로 한 비볼록 제곱 제약 조건을 도입한다.
• 스펙트럼 분해를 사용한 반복 최적화 프레임워크를 설계하여 공정성 제약 조건 하에서 국소 최솟값으로 수렴한다.

제안 방법

• 보호된 집단에 조건부로 설정된 입력 특징의 공분산 행렬에 대한 제약 조건을 통해 공정성을 정의함으로써, SVM 최적화 문제에 비볼록 제곱 제약 조건을 도입한다.
• 비볼록 제약 조건의 스펙트럼 분해를 사용하여 반복적으로 해결 가능한 볼록 근사화를 구성한다.
• 스펙트럼 분해에서 유도된 볼록 부분문제를 해결함으로써 SVM 파라미터를 반복적으로 업데이트하는 반복 알고리즘을 적용하여 국소 최솟값으로 수렴함을 보장한다.
• 내적을 커널 함수로 대체함으로써 커널 트릭을 적용하여 비선형 커널 SVM에 적용 가능하게 한다.
• 정규화 파rameter μ를 도입하여 공정성과 정확도 사이의 트레이드오프를 제어하며, μ=0은 기준 ZSVM 방법과 동일하다.
• 교차 검증을 통해 하이퍼파ram터(예: LSVM의 λ)를 튜닝하고, 데이터셋 간 SSVM과 ZSVM 간 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 원칙적인 최적화 프레임워크를 사용하여, 단일 임계값이 아닌 모든 결정 임계값에서 SVM의 공정성을 강제로 확보할 수 있는가?
• RQ2 조건부 공분산 행렬을 기반으로 한 비볼록 공정성 제약 조건은 SVM 학습에서 효율적으로 해결될 수 있는가?
• RQ3 스펙트럼 근사화를 사용하여 모든 임계값에서 공정성을 강제로 적용할 경우, 예측 정확도와 공정성 사이의 트레이드오프는 어떻게 되는가?
• RQ4 기존의 공정한 SVM 방법(예: Zafar 등)과 비교할 때 제안된 스펙트럼 알고리즘은 공정성과 정확도 측면에서 어떻게 다른가?
• RQ5 예측 정확도를 크게 떨어뜨리지 않고도 공정성을 향상시킬 수 있으며, 일부 경우에서는 정확도까지 향상시킬 수 있는가?

주요 결과

• 제안된 SSVM 방법은 표준 선형 SVM 및 ZSVM에 비해 유의미하게 향상된 공정성(낮은 DP-Δ)을 달성하며, 특히 공정성 파rameter d가 증가할수록 더욱 두드러진다.
• 시뮬레이션 및 실세계 데이터셋(와인 품질 및 독일 신용) 모두에서 SSVM은 높은 AUC(ROC 곡선 아래 면적)를 유지하면서도 모든 임계값에서 엄격한 공정성 향상을 보였다.
• SSVM에서 정규화 파arameter μ를 약간 증가시키면 공정성과 정확도가 모두 향상되는 경우가 많아, 공정성-정확도 트레이드오프를 효과적으로 제어할 수 있음을 시사한다.
• μ=0일 때 SSVM은 ZSVM으로 축소되며, 이는 기준 방법과의 동등성을 확인한다. 또한, 파arameter μ와 d에 대한 민감도 분석을 통해 세밀한 공정성 제어가 가능하다.
• 알고리즘이 국소 최솟값으로 수렴하며, 수치 결과는 예측 정확도를 최소한도로 잃고도 공정성을 향상시킬 수 있음을 보여주며, 일부 사례에서는 공정성 향상과 함께 정확도가 약간 향상되는 경우도 관찰되었다.