[논문 리뷰] Net2Net: Accelerating Learning via Knowledge Transfer

Tianqi Chen, Ian Goodfellow외 1명|arXiv (Cornell University)|2015. 11. 18.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 164

한 줄 요약

Net2Net는 기능을 유지하는 가중치 초기화를 통해 작은 사전 훈련된 신경망에서 더 크고 넓거나 깊은 신경망으로 지식을 전이함으로써 딥 러닝 모델 훈련을 가속화한다. 이 방법은 더 빠른 수렴을 가능하게 하며, 다시 시작하지 않고도 ImageNet에서 새로운 최고 성능 기록인 78.5%의 top-1 정확도를 달성한다.

ABSTRACT

We introduce techniques for rapidly transferring the information stored in one neural net into another neural net. The main purpose is to accelerate the training of a significantly larger neural net. During real-world workflows, one often trains very many different neural networks during the experimentation and design process. This is a wasteful process in which each new model is trained from scratch. Our Net2Net technique accelerates the experimentation process by instantaneously transferring the knowledge from a previous network to each new deeper or wider network. Our techniques are based on the concept of function-preserving transformations between neural network specifications. This differs from previous approaches to pre-training that altered the function represented by a neural net when adding layers to it. Using our knowledge transfer mechanism to add depth to Inception modules, we demonstrate a new state of the art accuracy rating on the ImageNet dataset.

연구 동기 및 목표

• 이전에 훈련된 모델들로부터 지식을 재사용함으로써 딥 뉴럴 네트워크의 반복적 설계를 가속화한다.
• 다양한 모델 아키텍처를 순차적으로 탐색하는 실제 워크플로우에서 훈련 시간을 줄인다.
• 랜덤 초기화로부터 훈련을 시작하지 않고도 넓고 깊은 모델 아키텍처의 효율적 탐색을 가능하게 한다.
• 훈련 데이터가 증가함에 따라 모델 용량을 원활하게 확장할 수 있도록 수명 주기 학습 시스템을 지원한다.
• 네트워크 너비나 깊이를 확장할 때 성능 손실 없이 지식 전이가 가능하다는 것을 입증한다.

제안 방법

• Net2WiderNet은 교사 네트워크의 각 뉴런을 스케일된 가중치를 가진 여러 뉴런으로 분할하여 동일한 기능을 유지하는 방식으로 더 넓은 네트워크를 초기화한다.
• Net2DeeperNet은 각 Inception 모듈에 신뢰성 유지 잔차 블록(수직-수평 컨볼루션 쌍)을 삽입하여 더 깊은 네트워크를 초기화한다.
• 초기화 과정을 통해 학생 네트워크가 미세조정 이전에 교사 네트워크와 동일한 출력을 계산하도록 보장한다.
• 기능을 유지하는 변환을 적용하여 아키텍처 변경 시 입력-출력 매핑을 동일하게 유지한다.
• 초기화된 학생 네트워크는 표준 최적화 방법을 사용해 훈련되며, 사전 학습된 기능의 이점을 누린다.
• 기존의 지식 전이 방법과 달리 추가적인 디스틸레이션 헤드나 보조 손실 항목이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 작은 사전 훈련된 신경망의 지식을 더 크고 넓거나 깊은 네트워크로 전이할 수 있는가?
• RQ2 기능을 유지하는 가중치 초기화가 랜덤 초기화에 비해 더 큰 모델의 훈련 시간을 크게 줄일 수 있는가?
• RQ3 Net2Net는 딥 러닝 워크플로우에서 모델 아키텍처 공간 탐색을 더 빠르게 할 수 있는가?
• RQ4 Net2Net를 사용하여 ImageNet과 같은 대규모 벤치마크에서 정확도를 유지하거나 향상시키는 방식으로 모델을 확장할 수 있는가?
• RQ5 Net2Net의 성능 향상 요인이 더 나은 초기화 때문인지, 아님 아키텍처 변환으로 인한 추가적인 인덕티브 바이어스 때문인가?

주요 결과

• Net2WiderNet은 랜덤 초기화된 더 넓은 네트워크와 동일한 최종 정확도를 달성하여 지식 전이로 인한 성능 손실가 없음을 확인했다.
• Net2DeeperNet은 더 깊은 모델에 대해 랜덤 초기화에 비해 훈련 및 검증 정확도 수렴 속도가 더 빠르게 하였다.
• Net2Net를 통해 너비와 깊이 확장을 결합함으로써 저자들은 ImageNet 검증 세트에서 새로운 최고 성능 기록인 78.5%의 top-1 정확도를 달성했다.
• Net2Net로 초기화된 모델의 수렴 곡선은 더 큰 아키텍처일지라도 랜덤 초기화된 모델보다 일관되게 더 빠르게 나타났다.
• 이 방법은 새로운 모델 변종을 훈련하는 데 소요되는 시간을 줄여주어 모델 설계 워크플로우에서 빠른 반복을 가능하게 하였다.
• 이 방법은 복잡한 Inception 모듈에 적용되었을 때에도 효과적이었으며, 실제 딥 러닝 시스템에서의 확장성을 입증했다.