[논문 리뷰] Technical Challenges for Training Fair Neural Networks

Valeriia Cherepanova, Vedant Nanda외 3명|arXiv (Cornell University)|2021. 02. 12.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 5

한 줄 요약

이 논문은 딥 네ural 네트워크(DNNs)에서 기존의 내재 fairness 방법이 실패하는 이유를 조사하며, 과적합(fairness constraints에 대한 과적합)과 fairness gerrymandering(한 보호된 속성에서의 fairness가 다른 속성에서의 불공평을 악화시키는 현상)이 fairness 노력의 근본을 훼손한다는 점을 드러낸다. 철저한 테스트에도 불구하고, 기존 모델에서 효과적인 방법들은 DNN의 과다 매개변수화된 영역에서는 실패하며, 예상치 못한 불공평과 성능 저하를 초래한다.

ABSTRACT

As machine learning algorithms have been widely deployed across applications, many concerns have been raised over the fairness of their predictions, especially in high stakes settings (such as facial recognition and medical imaging). To respond to these concerns, the community has proposed and formalized various notions of fairness as well as methods for rectifying unfair behavior. While fairness constraints have been studied extensively for classical models, the effectiveness of methods for imposing fairness on deep neural networks is unclear. In this paper, we observe that these large models overfit to fairness objectives, and produce a range of unintended and undesirable consequences. We conduct our experiments on both facial recognition and automated medical diagnosis datasets using state-of-the-art architectures.

연구 동기 및 목표

• 과다 매개변수화된 DNN에서 내재 fairness 방법의 효과성을 조사하며, 과적합과 복잡한 决策 경계가 일반적인 환경에서의 성능을 분석한다.
• 기존 모델(예: SVM, 로지스틱 회귀)에서 효과적인 fairness 제약 조건이 DNN의 과다 매개변수화 영역에서는 왜 실패하는지 규명한다.
• 특정 민감 속성에서의 fairness를 개선하면 다른 민감 속성에서 불공평성이 악화되는 등 부작용인 fairness gerrymandering를 조사한다.
• 특히 얼굴 인식 및 의료 진단 작업에서, 적대적 및 페널티 기반 fairness 훈련의 유효성을 평가한다.
• fairness 메트릭(예: 동일 손실)이 실제 성능(예: AUC)으로 일반화되지 않으며, 이는 fairness 주장의 타당성을 약화시킨다.

제안 방법

• 얼굴 인식 및 의료 진단을 위한 ResNet-18 모델에서 페널티 기반 최적화, 적대적 훈련, fairness 제약 조건을 포함한 다양한 내재 fairness 기법을 실증적으로 평가한다.
• 등가 손실, 적대적 페널티, 레이블 뒤집기 방법을 사용해 훈련, 검증, 테스트 분할 간의 일반화 능력을 평가하기 위해 fairness 제약 조건을 적용한다.
• 민감 속성 분류기(예: DNN가 decision boundary를 이용해 fairness 제약 조건을 만족하면서도 다른 하위군에 해를 끼치는지 여부를 탐지)를 활용해 DNN가 fairness 제약 조건을 과적합하는지 분석한다.
• 군집 간 불균형(예: 남성과 여성 하위군 간 AUC 격차)을 fairness 측정 지표로 사용하고, 다양한 fairness 간섭 조치에 따른 성능 저하를 추적한다.
• 보호된 속성의 랜덤 레이블 뒤집기를 통해 데이터 조작을 시뮬레이션하고, fairness 방법의 강건성(robustness)을 평가하기 위한 분석을 수행한다.
• 다양한 fairness 목표(예: 동일한 기회, 동일한 오차)와 모델 아키텍처 간 비교를 통해 실패 원인을 고립한다.

실험 결과

연구 질문

• RQ1 왜 기존 모델에서 효과적인 fairness 제약 조건이 과다 매개변수화된 딥 네럴 네트워크에선 실패하는가?
• RQ2 DNN에서 fairness 목표에 대한 과적합이 다수의 민감 속성 간 fairness gerrymandering를 얼마나 심각하게 유도하는가?
• RQ3 등가 손실 같은 fairness 대체 지표가 DNN에서 실제 fairness 메트릭(예: AUC)으로 어떻게 번역되는가?
• RQ4 적대적 훈련을 통한 fair 표현 학습이 새로운 불공평성을 유발하지 않고 DNN에서 편향을 효과적으로 제어할 수 있는가?
• RQ5 레이블 뒤집기가 fairness 제약 조건을 적용한 DNN에서 fairness와 성능에 어떤 영향을 미치는가?

주요 결과

• 기존의 내재 fairness 방법은 DNN에서 과적합으로 인해 실패한다. 모델이 훈련 데이터를 완전히 내삽하며 모든 하위군에서 완벽한 정확도를 달성하기 때문에, 훈련 중에 편향 측정이 불가능해진다.
• fairness gerrymandering는 널리 퍼져 있다: 예를 들어 성별에 대해 fairness를 강제하면 연령에 대해 불균형이 악화되는 경우가 많다. 특히 얼굴 인식 시스템에서 두드러진다.
• 훈련 데이터에서 불균형이 감소하는 것처럼 보여도, 실제로는 보류 데이터에서 실패하는 경우가 많아 일반화 능력이 열악하다.
• 레이블 뒤집기 실험 결과, fairness 간섭 조치는 모든 하위군에서 AUC 성능을 떨어뜨리며, 일부 사례에서는 평균 AUC가 최대 15% 감소한다.
• 적대적 fairness 훈련 방법은 항상 공정한 결과를 만들어내지 못하며 일반화 능력이 떨어지며, 보호된 하위군에서의 성능이 테스트 세트에서 악화되는 경향이 있다.
• 손실의 동일성은 fairness 메트릭의 동일성을 의미하지 않는다. 예를 들어 등가 손실이 AUC의 동일성을 이끌지 못해, DNN에서 일반적으로 사용되는 fairness 대체 지표의 타당성이 훼손된다.