[논문 리뷰] EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis

Chaoqi Wang, Roger Grosse외 2명|arXiv (Cornell University)|2019. 05. 15.

Advanced Neural Network Applications인용 수 30

한 줄 요약

EigenDamage는 헤시안 행렬이 근사적으로 대각화되는 크로네커 분해 고유기저(Kronecker-factored eigenbasis, KFE)로 층을 재매개변수화하여 구조적 신경망 프루닝을 제안한다. 이는 효율적인 헤시안 기반 구조적 프루닝을 가능하게 하며, 넓은 ResNet32에서 정확도 손실이 거의 없는 조건에서 최대 10배의 모델 크기 감소와 8배의 FLOPs 감소를 달성한다. 이는 특히 도전적인 데이터셋과 네트워크에서 기존 기준보다 뛰어난 성능을 발휘한다.

ABSTRACT

Reducing the test time resource requirements of a neural network while preserving test accuracy is crucial for running inference on resource-constrained devices. To achieve this goal, we introduce a novel network reparameterization based on the Kronecker-factored eigenbasis (KFE), and then apply Hessian-based structured pruning methods in this basis. As opposed to existing Hessian-based pruning algorithms which do pruning in parameter coordinates, our method works in the KFE where different weights are approximately independent, enabling accurate pruning and fast computation. We demonstrate empirically the effectiveness of the proposed method through extensive experiments. In particular, we highlight that the improvements are especially significant for more challenging datasets and networks. With negligible loss of accuracy, an iterative-pruning version gives a 10$ imes$ reduction in model size and a 8$ imes$ reduction in FLOPs on wide ResNet32.

연구 동기 및 목표

• 자원 제약 조건 하에서 정확도를 훼손하지 않으면서 효율적이고 구조적인 신경망 프루닝에 도전한다.
• 가중치 간 상호의존성이 프루닝 정확도와 계산 효율성을 떨어뜨리는 파rameter 공간 내 헤시안 기반 프루닝의 한계를 극복한다.
• 기존 하드웨어 및 소프트웨어 환경에서 자연스럽게 속도 향상을 지원하는 저랭크, 버블넥-구조적 네트워크 압축을 가능하게 한다.
• 전역 압축 비율에 기반해 각 층의 랭크를 자동으로 결정하는 손실 인식 기반의 방법을 개발하여 수동 조정을 피한다.
• CIFAR100 및 Tiny-ImageNet과 같이 고도로 복잡한 모델 복잡도로 인해 이전 방법이 어려움을 겪는 도전적인 데이터셋에서 뛰어난 성능을 입증한다.

제안 방법

• 완전연결층과 합성곱층을 크로네커 분해 고유기저(KFE)를 사용해 재매개변수화하여 헤시안 행렬을 근사적으로 대각화한다.
• KFE 좌표계에서 최적의 뇌 손상(Optimal Brain Damage, OBD) 및 최적의 뇌 수술(Optimal Brain Surgeon, OBS) 프루닝 기준을 적용하며, 여기서 가중치는 근사적으로 상호의존성이 없다.
• KFE 기반 감도를 기반으로 전체 채널을 제거함으로써 채널 수준에서 구조적 프루닝을 수행하여 저랭크, 버블넥-구조 층을 생성한다.
• Desjardins 등(2015)의 영감을 얻은 새로운 네트워크 재매개변수화 기법을 도입하여 각 층을 KFE 기반으로 명시적으로 표현함으로써 효율적 계산을 가능하게 한다.
• 과도한 프루닝을 방지하기 위해 각 층당 50% 프루닝 제한을 두고 반복적 프루닝을 수행하며, 각 반복 후 미세조정을 허용한다.
• 전역 프루닝 비율을 校정하여 각 층에 대한 최적의 랭크를 자동으로 결정함으로써 수동 랭크 지정 없이도 일관된 압축을 확보한다.

실험 결과

연구 질문

• RQ1 가중치 간 의존성이 최소화되는 좌표계로 전환함으로써 헤시안 기반 구조적 프루닝의 정확도와 효율성을 향상시킬 수 있는가?
• RQ2 크로네커 분해 고유기저(KFE)에서의 프루닝은 기존 파rameter 공간 프루닝 대비 더 우수한 일반화 성능과 더 낮은 FLOPs를 달성하는가?
• RQ3 CP-분해와 같은 저랭크 근사 방법과 비교할 때, EigenDamage는 정확도, 속도 향상, 손실 인식 능력 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 EigenDamage는 Tiny-ImageNet과 같은 도전적인 데이터셋 및 ResNet과 같은 복잡한 아키텍처에서 상당한 압축을 이룰 수 있는가?
• RQ5 동일한 압축 비율 조건에서, EigenDamage의 자동 랭크 선택 메커니즘이 수동 랭크 조정을 필요로 하는 저랭크 방법보다 우수한 성능을 내는가?

주요 결과

• EigenDamage는 넓은 ResNet32에서 정확도 손실이 거의 없는 조건에서 모델 크기를 최대 10배 감소시키고 FLOPs를 8배 감소시켜 뛰어난 압축 효율성을 입증한다.
• CIFAR100 및 Tiny-ImageNet에서 EigenDamage는 C-OBD, C-OBS, Kron-OBD, Kron-OBS와 같은 최신 기준보다 뚜렷이 뛰어난 성능을 보이며, 특히 ResNet과 같은 깊은 네트워크에서 두각을 나타낸다.
• 반복적 프루닝을 통해 EigenDamage는 일관된 성능 향상을 얻었으며, 더 복잡한 데이터셋과 아키텍처에서 가장 큰 향상이 관찰되었다.
• Fine-tuning 없이도 EigenDamage는 CP-분해보다 정확도와 속도 향상 측면에서 뛰어나며, 이는 손실 인식 성질과 자동 랭크 선택 덕분이다.
• 이 방법은 하위층을 과도하게 프루닝하는 NN Slimming과 달리, 특징 압축이 중요한 상위층에 더 많은 필터를 유지함으로써 층 간 균형 잡힌 프루닝 비율을 생성한다.
• EigenDamage의 자동 랭크 선택 메커니즘은 수동 랭크 조정이 필요 없어, 각 층의 랭크를 지정해야 하는 저랭크 방법 대비 검색 복잡도를 크게 감소시킨다.