[논문 리뷰] Characterising Bias in Compressed Models

Sara Hooker, Nyalleng Moorosi외 3명|arXiv (Cornell University)|2020. 10. 06.

Advanced Neural Network Applications참고 문헌 39인용 수 46

한 줄 요약

이 논문은 가지치기(pruning)와 양자화(quantization)를 통한 모델 압축이 전반적인 정확도를 크게 유지하지만, 어려운 예제의 작은 부분 집합에서 오류를 증가시켜 편향을 확대한다고 하며, 이 현상을 Compression Identified Exemplars (CIE)로 명명하고 인간-in-the-loop 감사 도구로 제안한다.

ABSTRACT

The popularity and widespread use of pruning and quantization is driven by the severe resource constraints of deploying deep neural networks to environments with strict latency, memory and energy requirements. These techniques achieve high levels of compression with negligible impact on top-line metrics (top-1 and top-5 accuracy). However, overall accuracy hides disproportionately high errors on a small subset of examples; we call this subset Compression Identified Exemplars (CIE). We further establish that for CIE examples, compression amplifies existing algorithmic bias. Pruning disproportionately impacts performance on underrepresented features, which often coincides with considerations of fairness. Given that CIE is a relatively small subset but a great contributor of error in the model, we propose its use as a human-in-the-loop auditing tool to surface a tractable subset of the dataset for further inspection or annotation by a domain expert. We provide qualitative and quantitative support that CIE surfaces the most challenging examples in the data distribution for human-in-the-loop auditing.

연구 동기 및 목표

• 가지치기와 양자화가 보호된 속성 하위집단마다 예측 편향 및 공정성에 어떤 영향을 미치는지 평가한다.
• 성별과 연령 속성에서 압축 모델과 비압축 모델 간 오류 차이(FPR/FNR)를 정량화한다.
• 레이블-에 구애받지 않는 감사 도구로서 Compression Identified Exemplars(CIE) 개념을 도입하고 검증한다.
• 보호 속성 레이블 없이도 어려운 사례를 드러내기 위한 대체 지표(Modal CIE와 Taxicab CIE)를 탐색한다.
• 데이터에서 고편향 영역을 검사하기 위해 CIE를 활용하는 인간-in-the-loop 감사 워크플로를 제안한다.

제안 방법

• CelebA에서 이진 금발(vs 비금발) 분류를 위해 ResNet-18을 학습한다.
• 학습 중 말단 희소도 수준 t를 {0.3,0.5,0.7,0.9,0.95,0.99}로 가지치기를 적용하고 추론 시 마스크를 고정한다.
• 사후 학습 8-bit 양자화를 적용(하이브리드 다이나믹 레인지 및 고정 소수점)하여 기준선과 비교한다.
• 단일 속성 단위(남성, 어린 연령) 및 교차 속성(Young Male) 속성을 사용하여 Top-1 정확도, FPR, FNR를 포함한 하위 그룹 성능을 평가한다.
• 압축된 모델과 비압축 모델의 레이블 예측이 다르게 나타나는 예를 Compression Identified Exemplars(CIE)로 정의한다(Modal CIE 및 Taxicab CIE).
• 통계적 유의성을 보장하기 위해 각 압축 수준마다 30개의 모델에서 실험을 반복한다.

실험 결과

연구 질문

• RQ1 모델 압축이 미대표 속성 하위집단에서의 알고리즘 편향을 확대하는가?
• RQ2 가지치기 및 양자화에 따라 하위 그룹 간 위양성(FPR)과 위음성(FNR) 비율은 어떻게 변하는가?
• RQ3 CIE(Modal 및 Taxicab)가 속성 레이블 없이도 감사에 필요한 어려운 사례를 드러낼 수 있는가?
• RQ4 CIE가 압축 및 비압축 모델 모두에서 가장 어려운 사례를 나타내는가?
• RQ5 제한된 주석 체계에서 CIE를 활용한 인간-인-루프 워크플로가 압축 모델의 감사를 효과적으로 수행할 수 있는가?

주요 결과

프루닝 비율	Top 1	# Modal CIEs	Notes
0	94.73	-	Baseline (no pruning)
0.3	94.75	555
0.5	94.81	638
0.7	94.44	990
0.9	94.07	3229
0.95	93.39	5057
0.99	90.98	8754

• 압축에서 전반적인 top-1 정확도는 여전히 높게 유지된다(예: baseline 94.73%, 90% 가지치기 시 94.07%, 95% 가지치기 시 93.39%).
• 압축은 가지치기 수준에 걸쳐 미대표 하위그룹에 대한 차별적 처리를 지속적으로 확대한다.
• 95% 가지치기에서 여성의 위양성률은 기준선 대비 49.54% 증가하고, 남성의 위양성은 6.32% 증가한다.
• 더 높은 압축 수준은 미대표 속성에서의 성능 저하를 악화시키며, 특히 소수 교차 속성 그룹에서 두드러진다.
• CIE 지표(Modal 및 Taxicab)는 압축 하에서 정확도가 급격히 떨어지는 작은 어려운 데이터 하위집합을 식별한다(예: 특정 임계값에서 Modal CIE 49.82%, Taxicab CIE 55.35% 정확도).
• CIE는 미대표 속성에 과다 집중하고 보호 속성 라벨을 필요로 하지 않는 인간 감사에 어려운 사례를 드러낸다.