[논문 리뷰] Spectral Pruning: Compressing Deep Neural Networks via Spectral Analysis and its Generalization Error

Taiji Suzuki, Hiroshi Abe외 7명|arXiv (Cornell University)|2018. 08. 26.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 6

한 줄 요약

이 논문은 내부 레이어 활성화의 스펙트럼 분석을 활용하여 재건된 뉴런을 식별하고 제거하는 새로운 딥 네ural 네트워크 압축 기법인 스펙트럼 프루닝을 제안한다. 활성화의 공분산 행렬의 고유값 분포로부터 유도된 자유도를 통해 모델 복잡도를 정량화함으로써, 이론적으로 타당한 효과적인 프루닝이 가능해지며, 높은 정확도를 유지하면서 모델 크기를 줄이고, 압축에 의해 유도되는 편향-분산 트레이드오프를 반영하는 날것의 일반화 오차 경계를 확보한다.

ABSTRACT

Compression techniques for deep neural network models are becoming very important for the efficient execution of high-performance deep learning systems on edge-computing devices. The concept of model compression is also important for analyzing the generalization error of deep learning, known as the compression-based error bound. However, there is still huge gap between a practically effective compression method and its rigorous background of statistical learning theory. To resolve this issue, we develop a new theoretical framework for model compression and propose a new pruning method called {\it spectral pruning} based on this framework. We define the ``degrees of freedom'' to quantify the intrinsic dimensionality of a model by using the eigenvalue distribution of the covariance matrix across the internal nodes and show that the compression ability is essentially controlled by this quantity. Moreover, we present a sharp generalization error bound of the compressed model and characterize the bias--variance tradeoff induced by the compression procedure. We apply our method to several datasets to justify our theoretical analyses and show the superiority of the the proposed method.

연구 동기 및 목표

• 실용적인 모델 압축 기법과 통계적 학습 이론 사이의 격차를 메우기 위해 이론적으로 타당한 프루닝 방법을 개발하는 것.
• 내부 레이어 활성화의 고유값 스펙트럼에서 유도된 자유도의 개념을 사용하여 모델 압축 능력을 기술하는 것.
• 압축된 모델에 대한 날것의 일반화 오차 경계를 유도하여, 프루닝에 의해 유도되는 편향–분산 트레이드오프를 명시적으로 반영하는 것.
• 개별 뉴런의 크기보다는 뉴런 간의 중복성을 대상으로 하여 정보 손실를 최소화하는 단순하고 구현 가능한 프루닝 알고리즘을 설계하는 것.
• 이론적 프레임워크를 실증적으로 검증하고, ImageNet 및 CIFAR-10과 같은 벤치마크 데이터셋에서 뛰어난 성능을 보여주는 것.

제안 방법

• 이 방법은 각 은닉층의 활성화 공분산 행렬의 효과적 질량(Effective Rank)을 딥 네럴 네트워크의 자유도로 정의하며, 이는 경험적 공분산 행렬의 고유값에서 유도된다.
• 프루닝은 활성화 행렬의 스펙트럼 성질에 기반하여 공분산 구조에 기여도가 최소인 뉴런을 식별하고 제거함으로써 수행된다.
• 압축 과정은 각 레이어의 공분산 행렬의 트레이스에 비례하는 정규화 파rameter λℓ에 의해 지도되며, 이는 각 레이어의 중복성에 대한 민감도를 보장한다.
• 이론적 분석은 라데마처 복잡도와 대칭화를 사용하여 프루닝된 모델의 일반화 오차를 경계하며, 오차가 자유도와 함수 클래스의 데이터 의존적 복잡도에 따라 달라진다는 것을 보여준다.
• 이 방법은 채널 수준 및 레이어 수준의 프루닝을 모두 지원하며, Spec-Conv(오직 합성곱 레이어만 프루닝) 및 Spec-GAP(완전 연결 레이어를 글로벌 평균 풀링으로 대체)와 같은 변형이 있다.
• 이 접근법은 사전 학습된 네트워크의 활성화 통계 자료에 의존하며, 재학습 없이도 모델 구조를 유지하는 동시에 동시 압축 절차를 구현한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크의 내재 차원은 어떻게 공식적으로 정량화할 수 있으며, 이를 바탕으로 효과적인 프루닝을 이끌 수 있는가?
• RQ2 모델 압축과 일반화 오차 사이의 이론적 관계는 무엇이며, 특히 편향과 분산 측면에서 어떻게 설명될 수 있는가?
• RQ3 내부 활성화의 스펙트럼 분석에 기반한 프루닝 방법은 기존 방법보다 더 높은 정확도와 압축 효율성을 달성할 수 있는가?
• RQ4 제안된 일반화 오차 경계는 고전적 VC-이론과 최근의 압축 기반 경계와 비교해 어떻게 다른가?
• RQ5 스펙트럼 프루닝은 다양한 아키텍처와 데이터셋에서 모델 크기를 줄이면서 성능을 얼마나 잘 유지하는가?

주요 결과

• ImageNet 데이터셋에서 Spec-Conv는 131.44M 파라미터와 9.58B FLOPs를 유지하면서도 Top-1 정확도 70.418%를 기록하여, 동일한 파라미터 수와 FLOPs를 가진 ThiNet-Conv(69.80%)를 초월했다.
• Spec-GAP는 단지 8.32M 파라미터와 9.34B FLOPs로 Top-1 정확도 67.540%를 달성하여, 동일한 압축 비율에서 ThiNet-GAP(67.34%)를 뛰어넘었다.
• 제안된 일반화 오차 경계는 난이도 높은 VC-차원 경계와 최근의 압축 기반 경계보다 훨씬 날것이며, 강력한 이론적 타당성을 입증한다.
• 레이어별 활성화 공분산 행렬의 고유값 감쇠에서 도출된 자유도는 내재적 모델 복잡도를 효과적으로 포착하며, 효과적인 프루닝을 이끌어내는 데 기여한다.
• 이 방법은 압축 효율성과 정확도의 트레이드오프에서 최신 기술 수준의 성능을 달성하며, 프루닝 과정에서 최소한의 계산 오버헤드를 유발한다.
• 실증 결과는 이론적 예측인 편향–분산 트레이드오프를 확인한다: 최적의 프루닝은 압축에 의한 편향과 데이터에 의한 분산을 균형 잡는다.