[논문 리뷰] FNNC: Achieving Fairness through Neural Networks

Manisha Padala, Sujit Gujar|arXiv (Cornell University)|2018. 11. 01.

Ethics and Social Impacts of AI참고 문헌 23인용 수 13

한 줄 요약

FNNC는 라그랑주 승수를 사용하여 손실 함수에 직접적으로 공정성 제약 조건(Demographic Parity, Disparate Impact, Equalized Odds)을 통합함으로써 분류에서의 공정성을 강제하는 신경망 기반 프레임워크를 제안한다. 이 방법은 이론적 일반화 경계를 제공하며 볼록 대체 함수가 필요 없이 두 단계의 미니배치 SGD를 통해 엔드 투 엔드 학습이 가능하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In classification models fairness can be ensured by solving a constrained optimization problem. We focus on fairness constraints like Disparate Impact, Demographic Parity, and Equalized Odds, which are non-decomposable and non-convex. Researchers define convex surrogates of the constraints and then apply convex optimization frameworks to obtain fair classifiers. Surrogates serve only as an upper bound to the actual constraints, and convexifying fairness constraints might be challenging. We propose a neural network-based framework, \emph{FNNC}, to achieve fairness while maintaining high accuracy in classification. The above fairness constraints are included in the loss using Lagrangian multipliers. We prove bounds on generalization errors for the constrained losses which asymptotically go to zero. The network is optimized using two-step mini-batch stochastic gradient descent. Our experiments show that FNNC performs as good as the state of the art, if not better. The experimental evidence supplements our theoretical guarantees. In summary, we have an automated solution to achieve fairness in classification, which is easily extendable to many fairness constraints.

연구 동기 및 목표

• 기계 학습에서 볼록 대체 함수 기반의 공정성 제약 조건이 원래 비볼록 공정성 측정치를 단단히 봉인하지 못하는 한계를 해결하기 위해.
• 수동으로 대체 함수를 설계할 필요 없이 공정성을 직접 최적화하는 엔드 투 엔드 신경망 프레임워크를 개발하기 위해.
• Demographic Parity 및 Equalized Odds 하에서 공정성 제약이 가해진 손실에 대한 이론적 일반화 경계를 제공하기 위해.
• 프레임워크가 높은 정확도를 유지하면서도 공정성 제약 조건을 충족함을 경험적으로 검증하고 최신 기술 수준의 방법들과 비교하여 승리하거나 동등한 성능을 내기 위해.
• F1 점수 및 Q-mean 손실과 같은 다른 비볼록, 배치 수준의 공정성 측정치로의 확장성을 보여주기 위해.

제안 방법

• ReLU 및 소프트맥스 활성화 함수를 사용하는 두 층의 피드포워드 신경망으로, 가중치 및 리프시츠 제약 조건에 의해 제한된다.
• 공정성 제약 조건(DP, DI, EO)은 라그랑주 승수를 사용하여 손실 함수에 통합되어 학습 중에 강제된다.
• 모델은 두 단계의 미니배치 확률적 경사 하강법을 통해 학습되며, 각 업데이트 단계에서 배치 수준의 공정성 계산이 가능하다.
• 측정 엔트로피 및 커버링 수의 수학적 분석을 통해 일반화 오차 경계가 유도되었으며, 데이터 크기가 증가함에 따라 오차가 점차 0에 수렴함을 보였다.
• 미니배치 내에서 비볼록 공정성 측정치를 미분 가능한 근사치로 직접 최적화함으로써 볼록 대체 함수를 회피한다.
• Q-mean 손실과 같은 다른 비볼록 목표 함수로의 확장이 가능하며, 이는 분석 실험에서 입증되었다.

실험 결과

연구 질문

• RQ1 볼록 대체 함수 없이도 신경망 프레임워크가 Demographic Parity 및 Equalized Odds와 같은 비볼록 공정성 제약 조건을 직접 최적화할 수 있는가?
• RQ2 DP 및 EO 하에서 공정성 제약이 가해진 신경망 학습에 대해 일반화 오차 경계를 어떻게 설정할 수 있는가?
• RQ3 왜 Disparate Impact는 대체 제약 조건을 사용해 근사하는 데 특히 어려운가? 이에 따른 이론적 한계는 무엇인가?
• RQ4 제안된 FNNC 프레임워크는 정확도 및 공정성 측정치 측면에서 최신 기술 수준의 공정성 방법들과 비교해 동등하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ5 공정성 외의 다른 비볼록, 배치 수준 최적화 목표 함수로의 확장성은 어느 정도까지 가능한가?

주요 결과

• FNNC는 벤치마크 데이터셋 전반에서 공정성-정확도 트레이드오프에서 최신 기술 수준 또는 그 이상의 성능을 달성하며, 볼록 대체 함수 기반 최적화 방법보다 뛰어난 성능을 보였다.
• 공정성 제약이 가해진 손실(DP 및 EO)에 대해 이론적 일반화 경계가 유도되었으며, 데이터 크기가 증가함에 따라 오차가 점차 0에 수렴함을 보였다.
• 프레임워크는 Disparate Impact를 대체 제약 조건을 통해 근사하는 것이 본질적으로 불안정하다는 것을 입증하였으며, 예측 값의 미세한 변동이 제약 조건 추정치의 유한하지 않은 오차로 이어질 수 있음을 보였다.
• 경험적 결과는 FNNC가 기준율이 그룹 간에 크게 다를 경우에도 높은 예측 정확도를 유지하면서 공정성 제약 조건을 충족함을 확인하였다.
• 이 방법은 공정성 외의 목표 함수로도 성공적으로 확장되었으며, 예를 들어 Demographic Parity 제약 조건 하에서 Q-mean 손실을 최소화하는 데 성공하여 광범위한 적용 가능성을 보였다.
• 두 단계의 미니배치 SGD는 공정성 지표를 각 배치에서 계산할 수 있도록 해, 프레임워크의 확장성과 실용성을 높였다.