[논문 리뷰] Minimal Random Code Learning: Getting Bits Back from Compressed Model Parameters

Marton Havasi, Robert Peharz외 1명|arXiv (Cornell University)|2018. 09. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 10

한 줄 요약

이 논문은 가중치에 대한 변동형 사후 분포에서 무작위 표본을 인코딩하는 새로운 신경망 압축 방법인 최소 무작위 코드 학습(MIRACLE)을 제안한다. 이는 비트-백 원리에 기반하여 이론적 압축 한계에 근접한 성능을 달성한다. KL 발산 제어를 통해 직접적으로 모델 성능과 압축률을 최적화함으로써, MIRACLE는 MNIST 및 CIFAR-10 벤치마크에서 파레토 효율성 측면에서 새로운 최고 성능을 기록한다.

ABSTRACT

While deep neural networks are a highly successful model class, their large memory footprint puts considerable strain on energy consumption, communication bandwidth, and storage requirements. Consequently, model size reduction has become an utmost goal in deep learning. A typical approach is to train a set of deterministic weights, while applying certain techniques such as pruning and quantization, in order that the empirical weight distribution becomes amenable to Shannon-style coding schemes. However, as shown in this paper, relaxing weight determinism and using a full variational distribution over weights allows for more efficient coding schemes and consequently higher compression rates. In particular, following the classical bits-back argument, we encode the network weights using a random sample, requiring only a number of bits corresponding to the Kullback-Leibler divergence between the sampled variational distribution and the encoding distribution. By imposing a constraint on the Kullback-Leibler divergence, we are able to explicitly control the compression rate, while optimizing the expected loss on the training set. The employed encoding scheme can be shown to be close to the optimal information-theoretical lower bound, with respect to the employed variational family. Our method sets new state-of-the-art in neural network compression, as it strictly dominates previous approaches in a Pareto sense: On the benchmarks LeNet-5/MNIST and VGG-16/CIFAR-10, our approach yields the best test performance for a fixed memory budget, and vice versa, it achieves the highest compression rates for a fixed test performance.

연구 동기 및 목표

• 모바일 및 엣지 애플리케이션에서 대규모 딥 네트워크의 높은 메모리 및 에너지 소비 문제를 해결하기 위해.
• 기존 방법이 단일 결정적 가중치 집합에 고정되어 있어 압축 효율이 열악한 문제를 해결하기 위해.
• 딥 네트워크의 과다 파rameter화 특성을 활용하여 양호한 가중치 구성의 분포에서 '저비용' 구성 하나를 선택하기 위해.
• 학습 중에 모델 성능과 압축률을 명시적이고 직접적으로 제어하기 위해.
• 실용적이고 실행 가능한 코딩 기법을 사용하여 정보이론적 하한에 근접한 압축률을 달성하기 위해.

제안 방법

• 기존의 단일 결정적 가중치 집합이 아닌, 전체 변동형 사후 분포를 학습한다.
• 비트-백 원리를 활용하여 이론적으로 최적에 가까운 압축을 달성하는 코딩 기법을 사용해 이 분포에서 무작위 표본을 인코딩한다.
• 코딩 비용은 변동형 사후 분포와 사전 분포 간의 KL 발산과 약간 유사하며, 이는 학습 과정에서 최소화된다.
• 실용적인 알고리즘을 설계하여 변동형 분포에서 근사 표본을 효율적으로 생성하고 인코딩할 수 있도록 한다.
• 압축률은 KL 발산 페널티 항을 통해 명시적으로 제어되며, 이는 직접적으로 코드 길이와 연결된다.
• 지역적 코딩 목표와 반복적인 변동형 업데이트를 사용하여 성능과 압축률의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 기존 방법이 단일 결정적 가중치 집합에 국한되는 것과는 달리, 전체 변동형 사후 분포에서 무작위 표본을 인코딩함으로써 더 높은 압축률을 달성할 수 있는가?
• RQ2 목표를 함께 인코딩하지 않는 조건에서 비트-백 원리가 신경망 압축에 실제로 얼마나 잘 적용될 수 있는가?
• RQ3 하나의 하이퍼파ram터(예: KL 페널티)를 통해 정확도와 압축 크기 모두에 명시적이고 직접적인 제어를 달성할 수 있는가?
• RQ4 실용적인 압축 방법이 가중치 인코딩의 이론적 정보이론적 하한에 얼마나 가까이 도달할 수 있는가?
• RQ5 과다 파rameter화된 네트워크에서 '저비용' 가중치 구성 하나를 선택함으로써 모델 크기와 테스트 정확도 사이의 파레토 트레이드오프가 향상되는가?

주요 결과

• LeNet-5/MNIST에서 MIRACLE는 3.03 kB(555× 압축)에서 테스트 오차 0.69%를 기록했으며, 베이지안 압축(2.3 kB에서 1.0% 오차)과 딥 압축(44 kB에서 0.8% 오차)을 모두 능가했다.
• 동일한 모델에서 MIRACLE는 1.52 kB(1110× 압축)에서 0.96%의 테스트 오차를 기록했으며, 모든 이전 방법보다 뛰어난 압축 효율성을 확보했다.
• VGG-16/CIFAR-10에서 MIRACLE는 135 kB(452× 압축)에서 10.0%의 테스트 오차를 기록했으며, 베이지안 압축(95×, 8.6%) 및 기타 베이스라인보다 뚜렷이 뛰어났다.
• KL 페널티를 다양하게 조정함으로써 MIRACLE는 명확한 파레토 경계를 구축했으며, 주어진 크기에 대해 더 높은 정확도, 주어진 정확도에 대해 더 높은 압축률을 제공함으로써 열등한 트레이드오프를 보였다.
• 이러한 두 벤치마크에서 MIRACLE는 기존 방법을 파레토 의미에서 엄격히 열등하게 만들며 최고 성능을 달성했다.
• 이론적 분석을 통해 비트-백 원리에 의해 정의된 정보이론적 하한에 근접한 코딩 효율성을 확보했음을 확인했다.