[논문 리뷰] Post-Hoc Methods for Debiasing Neural Networks

Yash Savani, Colin White외 1명|arXiv (Cornell University)|2020. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 7인용 수 2

한 줄 요약

이 논문은 재학습이 불가능한 실세계 응용에서 전이 학습된 신경망의 편향을 제거하기 위해 재학습 없이도 적용 가능한 세 가지 새로운 사후 조정 방법—랜덤 변동, 계층별 최적화, 적대적 미세조정—을 제안한다. 성능은 모델 초기화 및 편향 측정 방식에 따라 크게 달라지며, 모든 설정에서 한 가지 방법이 항상 우월하지는 않으며, 재현 가능성을 위해 오픈소스 코드를 제공한다.

ABSTRACT

As deep learning models become tasked with more and more decisions that impact human lives, such as hiring, criminal recidivism, and loan repayment, bias is becoming a growing concern. This has led to dozens of definitions of fairness and numerous algorithmic techniques to improve the fairness of neural networks. Most debiasing algorithms require retraining a neural network from scratch, however, this is not feasible in many applications, especially when the model takes days to train or when the full training dataset is no longer available. In this work, we present a study on post-hoc methods for debiasing neural networks. First we study the nature of the problem, showing that the difficulty of post-hoc debiasing is highly dependent on the initial conditions of the original model. Then we define three new fine-tuning techniques: random perturbation, layer-wise optimization, and adversarial fine-tuning. All three techniques work for any group fairness constraint. We give a comparison with six algorithms - three popular post-processing debiasing algorithms and our three proposed methods - across three datasets and three popular bias measures. We show that no post-hoc debiasing technique dominates all others, and we identify settings in which each algorithm performs the best. Our code is available at this https URL.

연구 동기 및 목표

• 재학습이 시간적 또는 데이터 제약으로 인해 불가능한 실세계 응용에서 신경망의 편향을 제거하는 데 도전하는 것.
• 사후 조정 미세조정 기법이 정확도를 유지하면서 편향을 효과적으로 줄일 수 있는지 조사하는 것.
• 여러 데이터셋과 공정성 지표에서 세 가지 제안된 미세조정 방법과 기존의 여섯 가지 사후 처리 편향 제거 알고리즘 간의 효과성을 비교하는 것.
• 각 편향 제거 방법이 가장 잘 작동하는 조건을 모델 초기화 및 편향 제약 조건 기반으로 규명하는 것.

제안 방법

• 작은 무작위 가중치 갱신을 미세조정 중 적용하여 편향된 국소 최소값에서 벗어나도록 랜덤 변동 기법을 제안한다.
• 각 네트워크 계층을 별도로 미세조정하여 각 계층에서의 편향 감소를 더 잘 제어할 수 있도록 계층별 최적화 기법을 도입한다.
• 예측과 민감한 특성 간 상관관계를 최소화하기 위해 적대적 손실을 사용하는 적대적 미세조정 기법을 개발한다.
• 모든 세 방법이 어떤 그룹 공정성 제약 조건에도 적용 가능하게 하여 표준 공정성 정의와 호환되도록 한다.
• 등등가 기회, 인구 비율 등 표준 편향 측정 방식을 사용하여 공정성 향상 정도를 평가한다.
• 세 가지 데이터셋에서 방법을 검증하고, 세 가지 기존의 사후 처리 편향 제거 알고리즘과 세 가지 신규 방법 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 초기 모델 상태가 사후 조정 편향 제거 기법의 성공에 어떤 영향을 미치는가?
• RQ2 랜덤 변동, 계층별 최적화, 적대적 미세조정 중 세 가지 제안된 미세조정 방법 중 어느 것이 다양한 공정성 제약 조건 하에서 가장 우수한 성능을 보이는가?
• RQ3 기존의 사후 처리 편향 제거 알고리즘과 비교해 제안된 방법들이 공정성 향상과 정확도 유지 측면에서 어떻게 성과를 냈는가?
• RQ4 어떤 설정에서 각 편향 제거 방법이 다른 방법보다 뛰어나며, 성능에 영향을 주는 요인는 무엇인가?

주요 결과

• 모든 데이터셋, 공정성 지표, 모델 초기화에서 한 가지 사후 조정 편향 제거 방법이 항상 다른 방법들을 압도적으로 뛰어나지 않는다.
• 사후 조정 방법의 성능는 전이 학습된 모델의 초기 가중치에 매우 민감하며, 이는 모델 초기화가 편향 제거 성공에 중대한 영향을 미친다는 것을 시사한다.
• 적대적 미세조정은 평균적으로 가장 강력한 공정성 향상을 달성하며, 특히 등등가 기회 및 등등가 오차 지표에서 두드러진다.
• 계층별 최적화는 모델이 이미 상대적으로 공정한 경우에 뛰어난 성능을 보이며, 이는 근본적인 편향 보정보다는 미세조정에 효과적이라는 것을 시사한다.
• 랜덤 변동은 높은 초기 편향과 제한된 데이터 가용성 상황에서 가장 우수한 성능을 보이며, 이는 열악한 국소 최소값에서 벗어나기 때문일 수 있다.
• 제안된 방법들은 편향 감소와 함께 정확도를 유지하거나 향상시키며, 실세계 적용 가능성에서 실용성을 입증한다.