[논문 리뷰] Compressing Neural Networks with the Hashing Trick

Wenlin Chen, James T. Wilson외 3명|arXiv (Cornell University)|2015. 04. 19.

Neural Networks and Applications참고 문헌 53인용 수 565

한 줄 요약

이 논문은 신경망 압축 기법인 HashedNets를 소개한다. 이 기법은 해시 함수를 사용해 연결을 공유 가중치 버킷으로 그룹화함으로써 모델 크기를 극적으로 줄이며, 정확도 손실을 최소화한다. 파rameter 공유를 통해 '가상' 연결을 허용함으로써 HashedNets는 MNIST에서 1.61%의 테스트 오차를 기록하며 최대 16배의 모델 팽창을 달성했으며, 고압축 비율에서 저랭크 및 엣지 제거 기반 기준보다 뛰어난 성능을 보였다.

ABSTRACT

As deep nets are increasingly used in applications suited for mobile devices, a fundamental dilemma becomes apparent: the trend in deep learning is to grow models to absorb ever-increasing data set sizes; however mobile devices are designed with very little memory and cannot store such large models. We present a novel network architecture, HashedNets, that exploits inherent redundancy in neural networks to achieve drastic reductions in model sizes. HashedNets uses a low-cost hash function to randomly group connection weights into hash buckets, and all connections within the same hash bucket share a single parameter value. These parameters are tuned to adjust to the HashedNets weight sharing architecture with standard backprop during training. Our hashing procedure introduces no additional memory overhead, and we demonstrate on several benchmark data sets that HashedNets shrink the storage requirements of neural networks substantially while mostly preserving generalization performance.

연구 동기 및 목표

• 모바일 및 임베디드 장치의 제한된 RAM 환경에서 대규모 딥 뉴럴 네트워크를 구동할 때 발생하는 증가하는 메모리 병목 문제를 해결한다.
• 신경망 가중치 내재의 재현성(중복성)을 활용하여 성능 저하 없이 모델 크기를 줄인다.
• 학습 또는 추론 중 추가 메모리 오버헤드 없이 메모리 효율적인 압축 방법을 개발한다.
• 해시를 통한 파rameter 공유와 함께 네트워크 팽창을 조합할 경우 일반화 성능 향상이 가능함을 입증한다.
• 낮은 정확도 손실로 고압축을 달성함으로써 자원 제약이 있는 장치에서 대규모 모델의 배포를 가능하게 한다.

제안 방법

• 무작위 해시 함수를 적용하여 신경망 연결을 공유 가중치 버킷으로 매핑하며, 동일한 버킷에 속한 모든 연결은 동일한 파rameter 값을 공유한다.
• 표준 백프로파게이션을 사용해 공유 파rameter를 학습하며, 기울기가 동일한 버킷 내 모든 연결을 동시에 업데이트할 수 있도록 한다.
• 실제 파rameter 수를 유지하면서 가상 히든 뉴런 수를 늘림으로써 네트워크 팽창 메커니즘을 도입한다.
• 드롭아웃, ReLU 활성화 함수, 가중치 희소성과 같은 표준 딥 러닝 기법과의 호환성을 유지한다.
• 실제 파rameter 수(K^ℓ)를 고정하고 가상 뉴런 수(n^ℓ)를 변화시켜 팽창이 일반화 성능에 미치는 영향을 연구한다.
• 학습 중 기울기 신호의 다양성을 유지하고 충돌을 최소화하기 위해 해싱 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 해시를 통한 파rameter 공유가 정확도에 미치는 영향을 최소화하면서 신경망 모델 크기를 크게 줄일 수 있는가?
• RQ2 고정된 메모리 제약 조건 하에서 가상 연결을 통한 네트워크 팽창이 일반화 성능에 미치는 영향은 어떠한가?
• RQ3 고압축 환경에서 해시 기반 압축이 저랭크 분해 및 엣지 제거 기법보다 우월한가?
• RQ4 실제 파rameter 수를 늘리지 않고도 성능을 최대화할 수 있는 최적의 팽창 인자(가상 뉴런 수 기준)는 얼마인가?
• RQ5 이 방법은 다양한 벤치마크 데이터셋과 네트워크 아키텍처에 대해 어떻게 스케일링되는가?

주요 결과

• HashedNets는 MNIST에서 최대 16배의 가상 네트워크 팽창을 달성했으며, 테스트 오차는 1.61%에 그쳤다. 이는 표준 네트워크 대비 50%의 상대적 오차 감소를 의미한다.
• 압축 비율 1/64일 때, HashedNets는 8개의 벤치마크 데이터셋 전반에서 저랭크 분해 및 엣지 제거 기반 기준을 모두 능가했으며, 특히 극단적인 압축 상황에서 두드러진 성능을 보였다.
• 가상 파rameter당 저장 정보가 0.5비트로도 충분히 높은 성능 유지를 보이며, 극도로 효율적인 압축 성능을 입증했다.
• 최적의 성능는 팽창 인자가 8배에서 16배 사이일 때 달성되었으며, 이후 과도한 해시 충돌로 인해 테스트 오차가 증가했다.
• 특히 매우 높은 압축 비율에서 저랭크 및 엣지 제거 기반 기준 대비 HashedNets가 훨씬 뛰어난 내구성을 보였다.
• 추가 메모리 오버헤드 없이 표준 정규화 기법(예: 드롭아웃, 가중치 희소성)과도 호환된다.