[논문 리뷰] Improved Bayesian Compression

Marco Federici, Karen Ullrich외 1명|arXiv (Cornell University)|2017. 11. 17.

Anomaly Detection Techniques and Applications참고 문헌 3인용 수 12

한 줄 요약

이 논문은 구조적 희소성에 대한 변분 드롭아웃과 양자화를 위한 소프트 웨이트 공유를 결합한 공동 베이지안 압축 방법을 제안한다. 이는 가중치와 그 평균에 대한 계층적 사전 분포를 통해 가중치 중심과 희소성을 동시에 최적화함으로써, LeNet5에서 최대 482배의 압축 비율을 달성하면서 정확도 손실를 최소화한다.

ABSTRACT

Compression of Neural Networks (NN) has become a highly studied topic in recent years. The main reason for this is the demand for industrial scale usage of NNs such as deploying them on mobile devices, storing them efficiently, transmitting them via band-limited channels and most importantly doing inference at scale. In this work, we propose to join the Soft-Weight Sharing and Variational Dropout approaches that show strong results to define a new state-of-the-art in terms of model compression.

연구 동기 및 목표

• 기존의 베이지안 압축 방법은 가중치를 프루닝하는 것(변분 드롭아웃)이나 양자화하는 것(소프트 웨이트 공유) 중 하나만 수행하지만, 둘 다 동시에 수행하지 못하는 한계를 해결한다.
• 가중치와 그 중심에 대한 계층적 사전 분포를 통해 희소성 유도와 효율적인 양자화를 동시에 가능하게 하여 모델 압축을 향상시킨다.
• 통합된 변분 추론 프레임워크 내에서 상호보완적인 두 압축 메커니즘을 통합함으로써 정확도를 훼손하지 않은 채 더 높은 압축 비율을 달성한다.
• 후기훈련 파이프라인에서 프루닝, 클러스터링, 엔트로피 코딩을 결합함으로써 자원이 제한된 장치에서의 실용적 모델 배포를 가능하게 한다.

제안 방법

• 가중치 $\mathbf{w}$ 와 그 중심 $\mathbf{m}$ 에 대한 사후분포를 인수분해된 변분 사후분포 $q_{\boldsymbol{\phi}}(\mathbf{w}, \mathbf{m}) = \prod_i q_{\sigma_i}(w_i|m_i) q_{\theta_i}(m_i)$ 로 모델링하며, 여기서 $w_i$ 는 중심 $m_i$ 를 중심으로 한 가우시안 분포이고 $m_i$ 는 델타 피크이다.
• 희소성을 유도하기 위해 무거운 尾 꼬리 분포를 가진 로그균일 사전 $p(w_i) \propto 1/|w_i|$ 를 사용하고, 중심에 대한 가우시안 혼합모델(GMM) 사전 $p_\psi(m_i)$ 를 사용하여 클러스터링과 양자화를 가능하게 한다.
• 변분 하한 $\mathcal{L}(\boldsymbol{\phi}, \boldsymbol{\psi}) = L_\mathcal{D}(\boldsymbol{\phi}) - D_{KL}(q_{\boldsymbol{\phi}}||p_{\boldsymbol{\psi}})$ 를 제안하며, KL 발산은 가중치별 및 중심별 구성요소로 분해된다.
• Molchanov 등(2017)의 기법을 활용해 가우시안 사후분포와 꼬리가 두꺼운 사전분포 사이의 KL 발산을 근사함으로써 훈련 안정성을 확보한다.
• 후기훈련 압축 파이프라인을 적용한다: (1) 학습된 GMM를 통해 가중치 중심을 클러스터링하고, (2) 0인 행/열을 프루닝하며, (3) 압축 희소 행렬(CSR)을 사용하여 인코딩하고, (4) 비영인 가중치에 대해 허프만 코딩을 적용한다.
• 희소성을 유도하고 효율적인 프루닝 및 인코딩을 가능하게 하기 위해 한 개의 GMM 성분을 0으로 고정한다.

실험 결과

연구 질문

• RQ1 단일 베이지안 프레임워크 내에서 변분 드롭아웃과 소프트 웨이트 공유를 결합함으로써, 각각의 방법을 별도로 사용할 때보다 더 높은 압축 비율을 달성할 수 있는가?
• RQ2 가중치 중심과 희소성을 계층적 사전을 통해 공동 최적화함으로써 정확도를 저하시키지 않은 채 모델 압축을 향상시킬 수 있는가?
• RQ3 제안된 방법이 표준 비전 벤치마크에서 높은 압축 비율을 달성하면서도 모델 성능을 유지할 수 있는가?
• RQ4 GMM 기반 클러스터링과 허프만 코딩의 통합이 후기훈련 압축 파이프라인에서 최종 압축 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 원본 모델 대비 테스트 정확도가 0.05% 감소한 상태에서 LeNet5에서 482×의 압축 비율을 달성한다.
• LeNet300-100에서는 161×의 압축 비율을 기록하며 테스트 정확도 98.24%를 달성하여, 변분 드롭아웃(131×)과 소프트 웨이트 공유(34×)보다 뛰어난 성능을 보였다.
• 비영인 가중치를 총 가중치의 0.5%로 줄임과 동시에 높은 정확도(99.14%)를 유지함으로써 강력한 희소성 유도 능력을 입증했다.
• GMM 기반 클러스터링과 허프만 코딩의 공동 적용으로 비영인 가중치의 평균 비트 폭이 $k \leq \log K + 1$ 으로 감소하여 저장 효율성이 크게 향상되었다.
• 밀집 및 컨볼루션 아키텍처 양쪽에서 L2, SWS, VD와 같은 기준 방법보다 뛰어난 압축 비율을 기록하며 새로운 SOTA를 확립했다.
• 후기훈련 파이프라인이 모델 성능을 효과적으로 유지한다. 클러스터링 및 프루닝 단계가 훈련 중에 학습된 사후분포 구조에 의해 안내되기 때문이다.