[논문 리뷰] An Empirical Analysis of the Impact of Data Augmentation on Knowledge Distillation

Deepan Das, Haley Massa외 2명|arXiv (Cornell University)|2020. 06. 06.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 13

한 줄 요약

이 논문은 데이터 증강 전략—특히 혼합 샘플 방법인 MixUp와 CutMix와 같은 방법—지식 증류에 어떤 영향을 미치는지 조사한다. 이러한 기법들이 교사 모델의 일반화 능력을 향상시키는 반면, 보조 지도 신호를 왜곡함으로써 학생 모델의 성능을 떨어뜨린다는 점을 발견한다. 이는 새로운 클래스 구분도 측정법과 잠재 공간 표현 분석을 통해 입증된다.

ABSTRACT

Generalization Performance of Deep Learning models trained using Empirical Risk Minimization can be improved significantly by using Data Augmentation strategies such as simple transformations, or using Mixed Samples. We attempt to empirically analyze the impact of such strategies on the transfer of generalization between teacher and student models in a distillation setup. We observe that if a teacher is trained using any of the mixed sample augmentation strategies, such as MixUp or CutMix, the student model distilled from it is impaired in its generalization capabilities. We hypothesize that such strategies limit a model's capability to learn example-specific features, leading to a loss in quality of the supervision signal during distillation. We present a novel Class-Discrimination metric to quantitatively measure this dichotomy in performance and link it to the discriminative capacity induced by the different strategies on a network's latent space.

연구 동기 및 목표

• 데이터 증강이 지식 증류에 미치는 영향, 특히 MixUp와 CutMix와 같은 혼합 샘플 전략에 대해 조사한다.
• 이러한 증강 기법을 사용할 경우, 향상된 교사 모델의 일반화 능력이 학생 모델로 효과적으로 전이되지 않는 이유를 이해한다.
• 혼합 샘플 증강 기법이 암묵적인 편향을 유발함으로써 발생하는 증류 품질 저하 정도를 정량화한다.
• 다양한 증강 전략에 의해 유도된 잠재 표현의 구분 능력을 측정하기 위한 새로운 지표인 Class-Discrimination를 개발한다.
• 교사 모델의 일반화 능력과 학생 모델로의 효과적 지식 전이 사이의 상호 교환 관계를 평가한다.

제안 방법

• 표준 변환, CutOut, MixUp, CutMix의 네 가지 데이터 증강 전략을 사용해 ResNet-18 교사 모델을 훈련시켰다.
• 교사 모델의 소프트 레이블을 사용해 지식 증류를 적용해 더 작은 학생 모델을 훈련시켰다.
• 잠재 표현의 품질과 증류에 미치는 영향을 정량화하기 위해 새로운 Class-Discrimination 지표를 제안했다.
• 혼동 행렬과 KL 발산 분석을 사용해 모델 예측 확률 분포를 인간이 추정한 신뢰도 분포와 비교했다.
• Expected Calibration Error (ECE)와 신뢰도 다이어그램을 사용해 교사 및 학생 모델 전반의 모델 校정도를 측정했다.
• 마스크된 혼동 행렬을 활용해 잠재 공간을 분석하여 클래스 간 구분 능력과 일반화 능력을 평가했다.

실험 결과

연구 질문

• RQ1 MixUp와 CutMix와 같은 혼합 샘플 데이터 증강 기법이 지식 증류에서 학생 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 증강된 교사 모델에서 유도된 지도 신호가 학생 네트워크로의 증류 과정에서 어느 정도 악화되는가?
• RQ3 Class-Discrimination 지표로 측정한 잠재 공간의 구분 능력은 다양한 증강 전략 간에 어떻게 달라지는가?
• RQ4 증류 과정에서 교사 모델의 데이터 증강 선택과 모델의 校정도 사이에 어떤 관계가 있는가?
• RQ5 확률 분포 내 클래스 간 관계의 왜곡이 증류된 학생 모델의 성능 저하를 설명할 수 있는가?

주요 결과

• MixUp와 CutMix와 같은 혼합 샘플 증강 전략은 교사 성능 향상을 이끌지만, 학생의 일반화 능력을 뚜렷이 떨어뜨린다.
• Class-Discrimination 지표 분석 결과, CutMix와 MixUp는 잠재 표현의 구분 능력을 감소시켜 효과적인 지식 전이를 제한함을 확인했다.
• 혼동 행렬 분석 결과, CutMix로 훈련된 모델은 기준 모델 대비 더 밝고 분산된 비대칭 항목을 보이며, 이는 클래스 간 일반화 능력 저하를 시사한다.
• KL 발산 분석 결과, CutMix 모델의 예측 확률 분포가 기준 모델보다 인간이 추정한 신뢰도 분포와 더 크게 다를 뿐 아니라, 이로 인해 성능 저하가 발생함을 확인했다.
• Expected Calibration Error (ECE) 결과, 선형 보간 기법(예: MixUp)은 보다 잘 校정된 모델을 생성하지만, 이는 학생 성능 향상과 직접적인 상관관계가 없음을 확인했다.
• 연구 결과, 교사 모델의 校정도와 학생 일반화 능력 간 직접적인 연관성이 없음을 발견했으며, 이는 校정도만으로 효과적인 증류가 보장되지 않음을 시사한다.