[논문 리뷰] Spectral-Pruning: Compressing deep neural network via spectral analysis

Taiji Suzuki, Hiroshi Abe외 7명|arXiv (Cornell University)|2018. 08. 26.

Neural Networks and Applications참고 문헌 38인용 수 15

한 줄 요약

이 논문은 내부 특징 공분산 행렬의 스펙트럼 분석에 기반한 새로운 모델 압축 방법인 Spectral-Pruning을 제안한다. 고유값 분포를 통해 자유도를 정의함으로써 압축과 일반화 오차 사이의 이론적 연결을 수립하며, 편향-분산 인식 기반의 프루닝 전략을 통해 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

Compression techniques for deep neural network models are becoming very important for the efficient execution of high-performance deep learning systems on edge-computing devices. The concept of model compression is also important for analyzing the generalization error of deep learning, known as the compression-based error bound. However, there is still huge gap between a practically effective compression method and its rigorous background of statistical learning theory. To resolve this issue, we develop a new theoretical framework for model compression and propose a new pruning method called {\it spectral pruning} based on this framework. We define the ``degrees of freedom'' to quantify the intrinsic dimensionality of a model by using the eigenvalue distribution of the covariance matrix across the internal nodes and show that the compression ability is essentially controlled by this quantity. Moreover, we present a sharp generalization error bound of the compressed model and characterize the bias--variance tradeoff induced by the compression procedure. We apply our method to several datasets to justify our theoretical analyses and show the superiority of the the proposed method.

연구 동기 및 목표

• 실용적인 모델 압축 기법과 통계적 학습 이론 사이의 격차를 메우기 위해.
• 딥 네URAL 네트워크에서의 모델 압축을 이론적으로 기반한 프레임워크를 개발하기 위해.
• 모델 압축이 일반화 오차에 미치는 영향을 내재된 모델 차원수를 통해 특성화하기 위해.
• 압축 과정에서 편향-분산 트레이드오프를 최적화하는 새로운 프루닝 방법을 제안하기 위해.

제안 방법

• 내부 레이어의 공분산 행렬의 고유값 분포를 사용하여 딥 네URAL 네트워크의 '자유도'를 정의한다.
• 특징 활성화의 스펙트럼 분석을 통해 모델의 내재 차원수를 정량화한다.
• 자유도를 바탕으로 압축된 모델에 대한 날카운 일반화 오차 경계를 유도한다.
• 스펙트럼 민감도와 모델 용량에 기여하는 정도에 따라 매개변수를 선택적으로 제거하는 프루닝 전략을 제시한다.
• 이론적 오차 경계를 프루닝 목표에 통합하여 편향과 분산을 균형 잡는다.
• 표준 딥 러닝 벤치마크에 해당 방법을 적용하여 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 내부 표현의 스펙트럼 특성을 활용해 모델 압축을 어떻게 이론적으로 정당화할 수 있는가?
• RQ2 내부 특징 공분산의 고유값 분포와 모델 일반화 사이의 관계는 무엇인가?
• RQ3 압축은 딥 네URAL 네트워크의 편향-분산 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 스펙트럼 분석에 기반한 프루닝 방법이 기존의 압축 기법을 초월할 수 있는가?
• RQ5 제안된 이론적 오차 경계는 압축 후 일반화 성능을 어느 정도 정확히 예측할 수 있는가?

주요 결과

• 내부 특징 공분산의 고유값 분포를 통해 정의된 자유도는 딥 네URAL 네트워크의 내재 차원수를 효과적으로 정량화한다.
• 제안된 스펙트럼 프루닝 방법은 다양한 벤치마크 데이터셋에서 최신 기준을 충족하는 압축 성능을 달성한다.
• 모델 압축과 일반화 오차 사이의 이론적 엄밀한 연결을 제공하는 날카운 일반화 오차 경계가 도출되었다.
• 이 방법은 압축에 의해 유도되는 편향-분산 트레이드오프를 명시적으로 모델링하고 균형 잡는다.
• 실험 결과는 스펙트럼 프루닝이 모델 크기를 크게 줄이면서도 정확도를 유지하거나 향상시킴을 확인한다.
• 이론적 프레임워크는 일반화에 대한 압축 효과를 이해하는 데 원칙적인 기반을 제공하며, 실무와 이론 사이의 격차를 메꾼다.