[논문 리뷰] Pruning has a disparate impact on model accuracy

Cuong Tran, Ferdinando Fioretto외 2명|arXiv (Cornell University)|2022. 05. 26.

Statistical Methods and Inference인용 수 6

한 줄 요약

이 논문은 신경망 프루닝이 소수 민족 집단에서 모델 정확도에 비례적으로 더 큰 영향을 미친다는 것을 드러내며, 공정성 격차를 악화시킨다. 그 원인으로 기울기 노름과 결정 경계까지의 거리 불균형을 규명하고, 이러한 격차를 보상하는 공정성 인지 손실 함수를 제안하여, 프루닝된 모델에서 정확도 격차를 크게 줄였다.

ABSTRACT

Network pruning is a widely-used compression technique that is able to significantly scale down overparameterized models with minimal loss of accuracy. This paper shows that pruning may create or exacerbate disparate impacts. The paper sheds light on the factors to cause such disparities, suggesting differences in gradient norms and distance to decision boundary across groups to be responsible for this critical issue. It analyzes these factors in detail, providing both theoretical and empirical support, and proposes a simple, yet effective, solution that mitigates the disparate impacts caused by pruning.

연구 동기 및 목표

• 신경망 프루닝이 다양한 민족 집단 간 정확도에 비대칭적인 영향을 미치는 이유를 조사하는 것.
• 프루닝된 모델에서 이러한 격차를 유발하는 근본 원인을 규명하는 것.
• 프루닝으로 인한 공정성 열등성의 완화를 위한 단순하고 효과적인 방법을 개발하는 것.
• 기울기 노름과 헤시안 행렬의 역할이 공정성 열등성에 기여하는 데 이론적이고 경험적으로 근거를 제공하는 것.
• 프루닝이 집단 간 모델 정확도에 '부유한 자가 더 부유해지고, 빈곤한 자가 더 빈곤해지는' 효과를 유도할 수 있음을 보여주는 것.

제안 방법

• 민족 집단 간 평균 기울기 노름의 격차를 보상하는 수정된 손실 함수를 도입하는 방법.
• 집단 간 결정 경계까지의 거리 격차에 대한 보상 항을 통합하는 방법.
• 표준 프루닝 파ip라인과 호환되며 경량화된 설계를 하는 방법.
• 이론적 분석을 통해 기울기 노름 불균형과 헤시안 행렬의 차이가 프루닝된 모델의 공정성 열등성과 관련이 있음을 연결하는 방법.
• 여러 데이터셋(예: UTK-Face), 아키텍처(예: ResNet18), 프루닝 비율에서 경험적 검증을 수행하는 방법.
• 공정성 영향을 정량화하기 위해 과잉 손실을 메트릭으로 사용하여 방법을 평가하는 방법.

실험 결과

연구 질문

• RQ1 왜 프루닝은 소수 민족 집단의 정확도 저하에 비례적으로 더 큰 영향을 미치는가?
• RQ2 프루닝된 모델에서 관찰된 공정성 격차를 유발하는 근본 원인은 무엇인가?
• RQ3 기울기 노름 불균형과 헤시안 행렬의 차이는 어떻게 공정성 열등성에 기여하는가?
• RQ4 간단한 손실 함수 수정이 프루닝된 모델에서의 공정성 격차를 효과적으로 줄일 수 있는가?
• RQ5 제안된 방법은 프루닝 이후 모델 정확도에 '부유한 자가 더 부유해지고, 빈곤한 자가 더 빈곤해지는' 현상을 완화하는가?

주요 결과

• 프루닝은 항상 고성능 집단(예: UTK-Face에서의 백인)의 정확도를 높이지만, 저성능 집단의 정확도를 낮추며 매튜 효과를 보여준다.
• 집단 간 기울기 노름의 격차는 소수 집단이 프루닝 후 더 큰 정확도 손실을 입는 이유를 설명하는 핵심 요소이다.
• 집단별 데이터와 관련된 헤시안 행렬의 차이는 비균등한 분리 가능성과 공정성 열등성을 유도한다.
• 제안된 공정성 인지 손실 함수는 프루닝된 모델에서 민족 집단 간 정확도 격차를 크게 줄였다.
• 경험적 결과는 여러 데이터셋과 아키텍처에서 이 방법이 '부유한 자가 더 부유해지고, 빈곤한 자가 더 빈곤해지는' 현상을 완화함을 보여준다.
• 이 방법은 전체 모델 정확도를 희생시키지 않고도 공정성을 향상시켜 자원 제약이 있고 공정성에 민감한 응용 분야에 적합하다.