[논문 리뷰] Learning both Weights and Connections for Efficient Neural Networks

Song Han, Jeff Pool외 2명|arXiv (Cornell University)|2015. 06. 08.

Advanced Neural Network Applications참고 문헌 22인용 수 666

한 줄 요약

이 논문은 낮은 크기의 연결을 제거하고 재학습하는 방식으로 동시에 최적의 네트워크 가중치와 연결을 학습하는 3단계 방법을 제안한다. 이로 인해 AlexNet과 VGG-16에서 각각 최대 9배와 13배의 파라미터 감소를 이룩했으며, ImageNet에서 정확도 손실 없이 성능을 유지한다.

ABSTRACT

Neural networks are both computationally intensive and memory intensive, making them difficult to deploy on embedded systems. Also, conventional networks fix the architecture before training starts; as a result, training cannot improve the architecture. To address these limitations, we describe a method to reduce the storage and computation required by neural networks by an order of magnitude without affecting their accuracy by learning only the important connections. Our method prunes redundant connections using a three-step method. First, we train the network to learn which connections are important. Next, we prune the unimportant connections. Finally, we retrain the network to fine tune the weights of the remaining connections. On the ImageNet dataset, our method reduced the number of parameters of AlexNet by a factor of 9x, from 61 million to 6.7 million, without incurring accuracy loss. Similar experiments with VGG-16 found that the number of parameters can be reduced by 13x, from 138 million to 10.3 million, again with no loss of accuracy.

연구 동기 및 목표

• 모바일 및 임베디드 환경에 적합한 대규모 신경망의 높은 계산 비용과 메모리 소비 문제를 해결한다.
• 기존 학습 방식에서 고정된 아키텍처의 한계를 극복하여 학습 과정 중에 아키텍처 학습이 가능하도록 한다.
• 정확도를 훼손하지 않으면서 모델 크기와 에너지 소비를 줄이며, 특히 비용이 많이 드는 외부 DRAM 액세스를 최소화한다.
• 모델을 더 작고 메모리 효율적으로 만들어 모바일 장치에서의 효율적 배포를 가능하게 한다.
• 제거 기반 압축 기법이 모델 압축을 넘어서 최적의 네트워크 용량을 찾는 데 도움이 되어 일반화 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 표준 역전파를 통해 중요한 연결을 학습하기 위해 밀도 높은 신경망을 일반적으로 학습한다.
• 전역 또는 레이어별 크기 기준 이하의 가중치를 가진 연결을 제거하여 밀도 높은 레이어를 희소 레이어로 전환한다.
• 남아 있는 가중치를 정밀 조정하고 정확도를 복구하기 위해 L2 정규화를 사용해 희소화된 네트워크를 재학습한다.
• 모델 크기 감소와 희소성 향상을 위해 제거와 재학습 과정을 반복적으로 반복한다.
• 각 레이어의 민감도 분석을 통해 개별 제거 임계값을 설정하며, 더 민감한 레이어(예: 첫 번째 합성곱 레이어)는 덜 극단적인 제거를 적용한다.
• 희소 행렬로 압축된 인덱스(완전연결층에 5비트, 합성곱층에 8비트)를 사용해 가중치를 저장하여 저장소 오버헤드를 15.6%로 줄인다.

실험 결과

연구 질문

• RQ1 낮은 크기의 연결을 제거함으로써 정확도 손실 없이 신경망 파라미터를 감소시킬 수 있는가?
• RQ2 단일 단계 제거보다 반복적인 제거와 재학습이 더 나은 모델 효율성과 정확도를 제공하는가?
• RQ3 합성곱층과 완전연결층 모두가 성능 유지 조건에서 효과적으로 제거될 수 있는가?
• RQ4 제거가 네트워크 가중치 분포와 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 희소성가 메모리 액세스 에너지를 얼마나 줄일 수 있으며, 특히 가중치를 내장 메모리에 저장할 수 있도록 함으로써 외부 DRAM 액세스를 줄일 수 있는가?

주요 결과

• AlexNet의 파라미터는 6100만 개에서 670만 개로 감소(9배 압축)되었으며, ImageNet에서 상위-1 정확도 손실 없이 유지되었다.
• VGG-16의 파라미터는 13800만 개에서 1030만 개로 감소(13배 압축)되었으며, 동일한 정확도를 유지했다.
• 반복적 제거를 통해 최대 9배의 압축을 달성했으며, 정확도 하락 없이 오히려 일부 제거 수준에서 과적합 감소로 인해 정확도가 약간 향상되었다.
• 첫 번째 합성곱 레이어가 입력 채널 수가 적고 재dundancy가 적어 제거에 가장 민감했으며, 신중한 임계값 설정이 필요했다.
• 제거 및 재학습 후 가중치 분포는 이중 첨두 형태로 바뀌었고, 더 넓어진 분포는 더 강하고 명확한 연결을 나타냈다.
• 압축된 인덱스를 사용한 희소 저장 방식은 메모리 프로파일을 크게 줄였으며, 내장 메모리에 가중치를 저장하고 비용이 많이 드는 외부 DRAM 액세스를 피할 수 있게 했다.