[논문 리뷰] Are Two Heads the Same as One? Identifying Disparate Treatment in Fair Neural Networks

Michael Lohaus, Matthäus Kleindeßner외 3명|arXiv (Cornell University)|2022. 04. 09.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 공정성 정규화 및 사전 처리된 신경망이 보호되는 특성(예: 인종, 성별)을 암묵적으로 학습함으로써 미국 법상 불법인 차별적 대우를 초래함을 보여준다. 연구는 보호 특성을 명시적으로 예측하는 이중 헤드 네트워크를 제안하여, 헤드를 융합함으로써 민족적 평등성에 대한 정밀한 제어를 가능하게 하며, 기존의 공정성 방법이 차별적 대우 측면에서 이 접근법과 법적으로 동일시됨을 보여준다.

ABSTRACT

We show that deep networks trained to satisfy demographic parity often do so through a form of race or gender awareness, and that the more we force a network to be fair, the more accurately we can recover race or gender from the internal state of the network. Based on this observation, we investigate an alternative fairness approach: we add a second classification head to the network to explicitly predict the protected attribute (such as race or gender) alongside the original task. After training the two-headed network, we enforce demographic parity by merging the two heads, creating a network with the same architecture as the original network. We establish a close relationship between existing approaches and our approach by showing (1) that the decisions of a fair classifier are well-approximated by our approach, and (2) that an unfair and optimally accurate classifier can be recovered from a fair classifier and our second head predicting the protected attribute. We use our explicit formulation to argue that the existing fairness approaches, just as ours, demonstrate disparate treatment and that they are likely to be unlawful in a wide range of scenarios under US law.

연구 동기 및 목표

• 공정성 정규화 및 사전 처리된 신경망이 인종이나 성별과 같은 보호 특성을 암묵적으로 학습하는지 조사하기.
• 그러한 암묵적 학습이 미국 반차별법, 특히 타이틀VII에 따라 차별적 대우를 구성하는지 평가하기.
• 민족적 평등성을 제어할 수 있도록 보호 특성을 명시적으로 예측하는 이중 헤드 신경망 아키텍처를 제안하기.
• 기존의 공정성 방법이 차별적 대우 측면에서 제안된 명시적 접근법과 수학적·법적으로 동일한지 보여주기.
• 암묵적으로 유추된 보호 특성으로 인해 체계적으로 불리한 영향을 받는 개인을 특정하기, 은폐된 편향을 드러내기.

제안 방법

• 주 작업과 함께 보호 특성(예: 성별, 인종)을 명시적으로 예측하는 두 번째 분류 헤드를 갖춘 딥 신경망을 훈련하기.
• 훈련 후 두 헤드를 융합하여 민족적 평등성을 확보한 분류기로 만들기, 이로써 보호 특성 헤드를 제거하면서도 공정성을 유지하기.
• 두 번째 헤드의 예측을 사용하여 공정성 정규화 또는 사전 처리 방법을 사용해 훈련된 공정 모델의 결정을 재구성하기.
• 공정 모델의 예측과 두 번째 헤드의 보호 특성 예측을 조합하여 제약이 없는(불공정한) 분류기를 복원하기.
• 공정성 제약이 있는지 여부에 따라 훈련된 모델의 내부 표현을 분석하기 위해 t-SNE 시각화를 적용하여 보호 그룹 간의 분리가 증가함을 보여주기.
• 개인의 유추된 보호 특성이 변경되었을 경우 예측이 얼마나 바뀔지 측정하여 차별적 대우의 정도를 정량화하기.

실험 결과

연구 질문

• RQ1 공정성 정규화 및 사전 처리된 신경망이 인종이나 성별과 같은 보호 특성을 암묵적으로 학습하는가?
• RQ2 민족적 평등성 강화가 내부 표현에서 보호 특성의 예측 가능성 증가와 얼마나 관련되어 있는가?
• RQ3 보호 특성을 명시적으로 예측하는 이중 헤드 네트워크를 사용해 공정성 정규화 또는 사전 처리 방법으로 훈련된 공정 모델의 결정을 재구성할 수 있는가?
• RQ4 공정 분류기의 의사결정 과정은 공정 분류기와 보호 특성 예측기의 가중 조합과 수학적으로 동일한가?
• RQ5 공정 모델 내에서의 보호 특성 암묵적 학습이 미국 반차별법에 따라 차별적 대우를 구성하는가?

주요 결과

• 공정성 제약이 강화될수록 공정성 정규화 및 사전 처리된 모델의 내부 표현이 보호 특성(예: 인종, 성별)을 점점 더 잘 예측함을 보여주며, 강력한 암묵적 학습이 있음을 시사한다.
• CelebA 데이터셋에 대해 훈련된 공정 모델에서 최대 35%의 예측이 개인의 유추된 성별이나 인종이 다를 경우 변경되며, 이는 심각한 차별적 대우를 시사한다.
• 제안된 이중 헤드 접근법은 높은 정밀도로 공정 모델을 재구성하고, 두 번째 헤드의 출력을 사용해 공정 모델에서 제약 없는 분류기를 복원할 수 있다.
• 정규화 또는 사전 처리 방법으로 훈련된 공정 모델의 결정은 제안된 명시적 이중 헤드 방법으로 잘 근사되며, 이는 수학적 동등성을 보여준다.
• 공정 모델의 출력과 두 번째 헤드의 예측을 조합함으로써, 공정 모델이 매우 제약이 강할지라도 제약 없는 분류기를 복원할 수 있다.
• 이 방법은 공정 모델이 유추된 보호 특성에 기반해 개인을 체계적으로 불리하게 대우함을 드러내며, 이러한 모델이 미국 법상 차별적 대우를 행한다는 것을 확인한다.