[논문 리뷰] Moonshine: Distilling with Cheap Convolutions

Elliot J. Crowley, Gavin Gray외 1명|arXiv (Cornell University)|2017. 11. 07.

Industrial Vision Systems and Defect Detection참고 문헌 38인용 수 49

한 줄 요약

이 논문은 깊이 신경망 내 표준 컨볼루션 블록을 더 저렴한 그룹 컨볼루션 블록(G(N) 블록 등)으로 대체함으로써 원래 아키텍처를 유지하면서도 새로운 모델 distillation 방법 'Moonshine'을 제안한다. 학습 중 주의 맵을 전달하는 방식을 통해 이 방법은 메모리 압축을 크게 개선하여 최대 75%의 파라미터 감소를 달성하면서도 높은 정확도를 유지하며, CIFAR-10, CIFAR-100, ImageNet 및 Cityscapes에서 직접 학습된 더 작은 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Many engineers wish to deploy modern neural networks in memory-limited settings; but the development of flexible methods for reducing memory use is in its infancy, and there is little knowledge of the resulting cost-benefit. We propose structural model distillation for memory reduction using a strategy that produces a student architecture that is a simple transformation of the teacher architecture: no redesign is needed, and the same hyperparameters can be used. Using attention transfer, we provide Pareto curves/tables for distillation of residual networks with four benchmark datasets, indicating the memory versus accuracy payoff. We show that substantial memory savings are possible with very little loss of accuracy, and confirm that distillation provides student network performance that is better than training that student architecture directly on data.

연구 동기 및 목표

• 웨어러블 및 임베디드 시스템과 같은 자원 제약이 있는 장치에 대규모 메모리 소비 신경망을 구현하는 데 도전하는 것.
• 기존 아키텍처 축소(예: 얇거나 浅은 네트워크)보다 블록 교체를 통한 아키텍처 압축이 더 효과적인지 탐색하는 것.
• 학생 네트워크의 재설계가 필요 없고, 교사와 동일한 초모수를 재사용하는 즉시 사용 가능한 디스틸레이션 방법을 개발하는 것.
• 표준 컨볼루션 블록을 더 저렴한 그룹형 또는 디프스와이즈 분리 컨볼루션 블록으로 교체하면 성능 손실 없이도 압축 효율성이 향상됨을 입증하는 것.

제안 방법

• ResNet 및 ERFNet의 표준 잔차 블록을 더 저렴한 그룹 컨볼루션 블록(G(N) 블록)으로 교체하며, 이는 그룹 컨볼루션을 사용하거나 보틀넥 구조를 포함할 수 있다.
• 주의 맵 전달을 통한 지식 디스틸레이션 적용: 학생 네트워크는 중간 레이어에서 교사 네트워크의 주의 맵을 모방하도록 훈련된다.
• 원래 교사 훈련과 동일한 옵티마이저, 학습률 스케줄, 데이터 증강 기법을 사용하여 최소한의 재구성 작업을 보장한다.
• 교차 엔트로피 손실과 주의 맵 전달 손실을 조합한 가중 손실 항목을 도입하며, 각 레이어별로 조정 가능한 초모수 β를 사용해 두 목표 간 균형을 맞춘다.
• 통합 손실을 사용해 학생 네트워크를 엔드 투 엔드로 훈련함으로써, 분류 및 특징 수준 지식을 모두 교사로부터 학습할 수 있도록 한다.
• 교사 네트워크의 원래 아키텍처와 깊이를 유지하며, 파라미터 수를 줄이기 위해 컨볼루션 블록의 구조만 전환한다.

실험 결과

연구 질문

• RQ1 표준 컨볼루션 블록을 더 저렴한 그룹 컨볼루션 블록으로 교체하는 것이 아키텍처 축소보다 더 나은 모델 압축을 이끌 수 있는가?
• RQ2 주의 맵 전달을 통한 디스틸레이션은 직접 훈련한 학생 네트워크보다 압축된 학생 네트워크의 성능을 크게 향상시키는가?
• RQ3 이미지 분류 및 세그멘테이션 작업에서 고정밀도를 유지하면서 파라미터 수를 얼마나 줄일 수 있는가?
• RQ4 최소한의 초모수 조정으로도 분류 및 밀도 예측 작업(예: 세그멘테이션)에 대해 디스틸레이션 과정이 효과적인가?
• RQ5 더 저렴한 블록을 사용하고 교사와 동일한 훈련 설정을 사용하는 학생 네트워크가 직접 훈련된 더 작은 학생 네트워크를 능가할 수 있는가?

주요 결과

• CIFAR-100에서 파라미터 수 810만인 Res34-G(4) 학생 모델은 320만 파라미터를 가진 Res18-0.5(37.20% top-5 정확도)보다 낮은 파라미터 수에도 불구하고 26.61% top-5 정확도를 달성했다.
• ImageNet에서 Res34-G(N) 학생 모델은 파라미터 수를 2180만에서 310만으로 줄여 85.8% 감소시켰으며, 32.98% top-5 정확도를 유지했다. 반면 직접 훈련한 더 작은 Res34-G(N)는 30.16%의 정확도를 기록했다.
• Cityscapes에서의 세그멘테이션 작업에서 ERFNet-G(N) 학생 모델은 파라미터 수를 206만에서 49만으로 줄여 76.3% 감소시켰고, 디스틸레이션을 통해 68.11% IoU를 달성했다. 반면 직접 훈련한 경우는 65.29%였다.
• 디스틸레이션 과정을 통해 학생 네트워크는 데이터에 직접 훈련된 더 작은 아키텍처보다 높은 성능을 달성했으며, 지식 전달의 이점을 입증했다.
• CIFAR-10에서 파라미터 수를 75% 줄였을 때(2180만에서 540만으로), top-1 정확도는 단지 1.5% 감소에 그쳤다. 이는 상당한 메모리 절감과 함께 매우 낮은 정확도 손실을 의미한다.
• 이 방법은 설계 및 훈련 측면에서 매우 효율적이다: 초모수 조정이나 아키텍처 재설계가 필요 없으며, 교사 모델과 동일한 훈련 프rotocol를 그대로 재사용할 수 있다.