[논문 리뷰] Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation

Cody Blakeney, Nathaniel Huish외 2명|arXiv (Cornell University)|2021. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 4

한 줄 요약

이 논문은 절단된 신경망에서의 편향을 정량적으로 평가하기 위해 두 가지 새로운 지표인 통합 오차 분산(CEV)과 대칭 거리 오차(SDE)를 도입한다. 이는 지식 정착 기법이 불균형한 데이터셋에서도 절단에 의해 유도되는 편향을 효과적으로 완화함을 보여주며, SVCCA를 통해 측정한 모델 유사도가 편향 감소와 강하게 상관됨을 규명함으로써 절단 과정에서 편향이 발생하는 이유를 설명한다.

ABSTRACT

In recent years the ubiquitous deployment of AI has posed great concerns in regards to algorithmic bias, discrimination, and fairness. Compared to traditional forms of bias or discrimination caused by humans, algorithmic bias generated by AI is more abstract and unintuitive therefore more difficult to explain and mitigate. A clear gap exists in the current literature on evaluating and mitigating bias in pruned neural networks. In this work, we strive to tackle the challenging issues of evaluating, mitigating, and explaining induced bias in pruned neural networks. Our paper makes three contributions. First, we propose two simple yet effective metrics, Combined Error Variance (CEV) and Symmetric Distance Error (SDE), to quantitatively evaluate the induced bias prevention quality of pruned models. Second, we demonstrate that knowledge distillation can mitigate induced bias in pruned neural networks, even with unbalanced datasets. Third, we reveal that model similarity has strong correlations with pruning induced bias, which provides a powerful method to explain why bias occurs in pruned neural networks. Our code is available at https://github.com/codestar12/pruning-distilation-bias

연구 동기 및 목표

• 절단된 신경망에서의 편향 평가를 위한 효과적인 지표 부족 문제를 해결하기 위해.
• 특히 불균형한 데이터셋에서 지식 정착 기법이 절단에 기인한 편향을 완화할 수 있는지 조사하기 위해.
• SVCCA를 사용한 모델 유사도 분석을 통해 절단 과정에서 편향이 발생하는 근본 원인을 설명하기 위해.
• 기존의 PIEs와 같은 지표들에 대한 정량적이고 객관적이며 확장 가능한 대안을 제공하기 위해.

제안 방법

• 편향 방지 품질 평가를 위해 클래스 간 오차 분산을 측정할 수 있는 지표로 통합 오차 분산(CEV)을 제안한다.
• 두 모델 간 직접 비교가 가능한 대칭적이고 정규화된 오차 지표로 대칭 거리 오차(SDE)를 도입한다.
• 클래스 불균형 데이터셋에서 학습하더라도 절단된 모델의 편향을 줄이기 위해 최신 지식 정착 기법을 적용한다.
• 각 레이어에서 절단된 모델과 원본 모델의 특징 표현 간 유사도를 측정하기 위해 단일 벡터 공정상관계수 분석(SVCCA)을 사용한다.
• 다양한 절단 방법과 스파arsity 수준에서 CEV와 SDE 점수를 비교하여 편향 완화 성능을 평가한다.
• CEV의 예측 변수로 SVCCA 거리를 사용하여 모델 유사도와 유도된 편향 간의 관계를 설명한다.

실험 결과

연구 질문

• RQ1 기존의 PIEs와 같은 지표를 넘어서, 절단된 신경망에서의 편향을 객관적이고 정량적으로 평가할 수 있는 방법은 무엇인가?
• RQ2 특히 클래스 불균형이 있는 데이터셋에서 지식 정착 기법이 절단에 기인한 편향을 효과적으로 줄일 수 있는가?
• RQ3 절단된 신경망에서 모델 유사도와 편향 수준 간의 관계는 어떠한가?
• RQ4 높은 상위-1 정확도가 절단된 모델에서 낮은 편향을 의미하는가, 아니면 다른 지표가 더 예측력이 강한가?
• RQ5 SVCCA 기반의 유사도 측정이 왜 일부 절단된 모델이 다른 모델보다 더 많은 편향을 유도하는지 설명할 수 있는가?

주요 결과

• CEV와 SDE는 PIEs보다 우수하여, 대규모 절단된 모델 집단이 필요 없이도 두 모델 간 직접적인 객관적 비교가 가능하다.
• 지식 정착 기법은 불균형한 데이터셋에서 학습하더라도 절단에 기인한 편향을 크게 줄이며, 이는 낮은 CEV 및 SDE 점수로 확인된다.
• SVCCA로 측정한 모델 유사도는 모든 스파arsity 수준과 절단 방법에서 CEV의 가장 강력한 예측 변수이며, 원본 모델과의 유사도가 높을수록 유도된 편향이 적다는 것을 시사한다.
• 상위-1 정확도는 편향의 우수한 지표가 아니다: 편향이 있는 데이터셋에서 가장 높은 상위-1 정확도를 기록한 모델일수록 CEV 및 SDE 점수에서 가장 열악한 순위를 차지하는 경우가 많다.
• SVCCA 거리와 CEV 간의 상관관계는 CIFAR100, CIFAR10, Imagenette, Imagewoof 등의 다양한 데이터셋과 ResNet, VGG16 등의 아키텍처에서 유지되며, 일반화 가능성은 확인된다.
• 원본 모델과 특징 유사도가 높은 절단된 모델은 일관되게 낮은 편향을 보이며, 이는 표현 품질 유지가 공정성 확보의 핵심 요소임을 시사한다.