[논문 리뷰] Few Shot Network Compression via Cross Distillation

Haoli Bai, Jiaxiang Wu외 2명|arXiv (Cornell University)|2019. 11. 21.

Advanced Neural Network Applications참고 문헌 40인용 수 17

한 줄 요약

이 논문은 소수의 학습 샘플로도 레이어별 추정 오차를 줄이는 데 목적이 있는 새로운 지식 정련 프레임워크인 크로스 정련을 제안한다. 이는 교사에서 학생으로의 오류 수정(교정)과 학생에서 교사로의 오류 모방(모방)을 동시에 수행함으로써 이루어지며, 이 이중 감독 신호를 볼록 조합함으로써 오차를 효과적으로 줄인다. 이 방법은 각 클래스당 몇 개의 학습 샘플만으로도 학생 네트워크의 정확도를 크게 향상시키며, CIFAR-10과 ImageNet에서 기존의 베이스라인을 능가한다.

ABSTRACT

Model compression has been widely adopted to obtain light-weighted deep neural networks. Most prevalent methods, however, require fine-tuning with sufficient training data to ensure accuracy, which could be challenged by privacy and security issues. As a compromise between privacy and performance, in this paper we investigate few shot network compression: given few samples per class, how can we effectively compress the network with negligible performance drop? The core challenge of few shot network compression lies in high estimation errors from the original network during inference, since the compressed network can easily over-fits on the few training instances. The estimation errors could propagate and accumulate layer-wisely and finally deteriorate the network output. To address the problem, we propose cross distillation, a novel layer-wise knowledge distillation approach. By interweaving hidden layers of teacher and student network, layer-wisely accumulated estimation errors can be effectively reduced.The proposed method offers a general framework compatible with prevalent network compression techniques such as pruning. Extensive experiments on benchmark datasets demonstrate that cross distillation can significantly improve the student network's accuracy when only a few training instances are available.

연구 동기 및 목표

• 제한된 학습 데이터로 인해 오버피팅과 레이어 간 오차 누적이 발생하는 소수의 학습 샘플로 네트워크 압축에서 높은 추정 오차를 해결하기 위한 도전 과제를 해결한다.
• 각 클래스당 몇 개의 샘플로만 미세조정이 가능한 상황에서, 압축된 학생 네트워크의 일반화 능력과 강건성을 향상시키기 위한 목표를 달성한다.
• 기존의 압축 기법(예: 프루닝 및 양자화)과 호환되는 일반화 가능한 플러그 앤 플레이 프레임워크를 개발한다.
• 완전한 학습 데이터를 사용할 수 없는 개인정보 보호 설정에서 압축 모델의 성능 저하를 줄이기 위한 목표를 달성한다.

제안 방법

• 크로스 정련은 이중 루프 지식 전달 메커니즘을 도입한다: 교정(교사의 은닉 특징이 학생을 안내함)과 모방(학습자인 학생의 은닉 특징이 교사를 안내함).
• 교정과 모방에서 유도된 손실 함수의 볼록 조합을 사용하여 오차 감소와 특징 정렬 간 균형을 맞춘다.
• 교사와 학생의 특징 간 추정 오차와 그들의 은닉 표현 간 불일치를 최소화하는 통합 손실 함수를 수립한다.
• 기존의 압축 파ipeline에 통합함으로써 구조적 및 비구조적 프루닝을 모두 지원한다.
• 볼록 조합이 레이어 간 오차 전파를 어떻게 줄이는지 이론적으로 분석한다.
• 교수-교사 간 성능 균형을 맞추기 위해 그리드 서치를 통해 트레이드오프 가중치 μ 또는 볼록 조합에서의 α,β와 같은 하이퍼파rameter를 최적화한다.

실험 결과

연구 질문

• RQ1 오버피팅이 주요 문제인 소수의 학습 샘플로 네트워크 압축에서 추정 오차를 효과적으로 줄일 수 있는가?
• RQ2 동시에 학생의 오류를 수정하고 교사가 학생의 오류를 인지하도록 하는 이중 감독이 낮은 데이터 환경에서 일반화 능력을 향상시킬 수 있는가?
• RQ3 레이어별 오차 누적을 최소화하기 위해 교정 손실과 모방 손실 간 최적의 트레이드오프는 무엇인가?
• RQ4 극도의 데이터 부족 조건에서 표준 지식 정련 및 데이터 없는 방법과 비교해 크로스 정련은 정확도와 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 오차 전파가 가장 심각한 깊은 레이어와 최종 로짓에 대해 크로스 정련이 더 잘 일반화되는가?

주요 결과

• 크로스 정련은 모든 레이어에서 추정 오차(ℒʳ)를 크게 줄이며, 특히 conv4.3와 최종 로짓과 같은 깊은 레이어에서 가장 두드러진 개선 효과를 보였다.
• VGG-16와 5샷 학습을 사용한 CIFAR-10에서 이 방법은 86.63%의 상위-1 정확도를 달성하여 기준 모델 Ours-NC 및 기타 경쟁 모델을 능가했다.
• Ours 모델의 최적 하이퍼파ram터 설정(μ)은 VGG-16의 경우 약 μ=0.6, ResNet-56의 경우 약 μ=0.9로 모델에 따라 민감도가 다름을 확인했다.
• 볼록 조합에서 α+β>1인 Ours-S는 항상 Ours-NC를 능가했으며, 매개변수 공간의 중앙부에서 최고 성능을 기록했다.
• 민감도 분석 결과, 오직 교정(μ=0.0) 또는 오직 모방(μ=1.0)만을 사용하는 경우에도 강력한 성능을 기록함을 확인했으며, 이는 하이퍼파ram터 선택에 대해 뛰어난 강건성을 보임을 시사한다.
• 깊은 레이어로 갈수록 오차 억제 효과가 효과적으로 나타남을 확인했으며, ℒʳ 대비 Ours-NC 비율이 1.0 이하로 떨어짐으로써 깊은 레이어에서도 효과적인 오차 억제가 이루어짐을 입증했다.