[논문 리뷰] Compressing Neural Networks using the Variational Information Bottleneck

Bin Dai, Chen Zhu외 1명|arXiv (Cornell University)|2018. 02. 28.

Model Reduction and Neural Networks참고 문헌 45인용 수 71

한 줄 요약

본 논문은 변분 정보 병목(variational information bottleneck)에 기반한 가지치기(pruning) 기반 압축 방법인 VIBNet을 소개합니다. 이는 정확도를 유지하면서 뉴런을 적극적으로 가지치고 표준 벤치마크에서 최첨단 압축 성능을 달성합니다.

ABSTRACT

Neural networks can be compressed to reduce memory and computational requirements, or to increase accuracy by facilitating the use of a larger base architecture. In this paper we focus on pruning individual neurons, which can simultaneously trim model size, FLOPs, and run-time memory. To improve upon the performance of existing compression algorithms we utilize the information bottleneck principle instantiated via a tractable variational bound. Minimization of this information theoretic bound reduces the redundancy between adjacent layers by aggregating useful information into a subset of neurons that can be preserved. In contrast, the activations of disposable neurons are shut off via an attractive form of sparse regularization that emerges naturally from this framework, providing tangible advantages over traditional sparsity penalties without contributing additional tuning parameters to the energy landscape. We demonstrate state-of-the-art compression rates across an array of datasets and network architectures.

연구 동기 및 목표

• 정보 이론적 프레임워크를 통해 층 간 중복성에 초점을 맞춘 신경망 압축을 동기화.
• 희소하고 정보가 풍부한 뉴런 사용을 촉진하는 tractable variational bound를 개발.
• 희소한 뉴런 부분집합이 정보를 집중시키는 반면, 다른 뉴런은 정확도에 미치는 영향이 최소한으로 가지치기.
• VIBNet이 현 상태의 최첨단 방법들보다 우수한 압축을 달성하는 경험적 비교를 제공.

제안 방법

• 레이어별 압축 에너지를 KL 발산 항과 데이터 적합성 항을 결합한 변분 정보 병목 bound를 사용해 형식화한다.
• p(h_i|h_{i-1})를 학습 가능한 µ_i, σ_i 및 fi(h_{i-1})를 갖는 가우시안으로 모델링하고 확률적 활성화를 도입한다.
• q(h_i)를 Gaussian N(h_i; 0, diag[ξ_i])로 설정하여 희소성을 유도하며, ξ_i→0 또는 대응하는 α_{i,j}→0일 때 가지치기가 발생한다.
• 단일 압축 제어 매개변수 γ_i를 갖는 해석가능한 손실로의 폐쇄형 KL bound를 도출한다.
• α_{i,j} = µ_{i,j}^2 σ_{i,j}^{-2}를 통해 정보를 필요하지 않은 곳으로의 전송을 억제하는 적응적 희소성 유발 정규화기를 정의한다.
• 확률적 순전파 및 역전파로 학습한 뒤, 학습 후 희소성 지표에 따라 뉴런을 가지치기한다.

실험 결과

연구 질문

• RQ1 정보 병목에서 영감을 받은 목적이 층 간의 중복 뉴런을 효과적으로 식별하고 가지치기할 수 있는가?
• RQ2 제안된 VIBNet 프레임워크가 기존 가지치기 방법에 비해 더 높은 압축을 달성하면서 예측 정확도 손실이 최소 또는 없는가?
• RQ3 layer-wise 압축 제어 γ_i가 서로 다른 아키텍처와 데이터 세트에서 희소성과 성능에 어떤 영향을 미치는가?

주요 결과

방법	rW (%)	rN (%)	오차 (%)
VD	25.28	58.95	1.8
BC-GNJ	10.76	32.85	1.8
BC-GHS	10.55	34.71	1.8
L0	26.02	45.02	1.4
L0-sep	10.01	32.69	1.8
DN	23.05	57.94	1.8
VIBNet	3.59	16.98	1.6

• VIBNet은 MNIST LeNet-300-100에서 비교 방법보다 상당히 높은 압축 성능을 달성합니다(rW 3.59%, rN 16.98%, 오차 1.6%).
• LeNet-5-Caffe에서 VIBNet은 최저 FLOPs와 실행 시간 메모리를 달성하며 정확도는 경쟁력 있습니다.
• CIFAR-10/100에서 VGG-16을 이용하여 VIBNet은 여러 프로토콜에서 강력한 압축 성능을 보여주며 종종 기준치를 상회합니다.
• 본 방법은 중복 정보를 희소한 뉴런 집합으로 집계하여 Intrinsic sparsity를 촉진하고 효과적인 가지치기를 가능하게 합니다.
• 제안된 목적은 단 하나의 tunable parameter만 필요로 하며(레이어당 γ_i), 경쟁적인 베이지안/사전 기반 접근들에 비해 하이퍼파라미터 조정이 단순합니다.