[논문 리뷰] WoodFisher: Efficient second-order approximations for model compression.

Sidak Pal Singh, Dan Alistarh|arXiv (Cornell University)|2020. 04. 29.

Advanced Neural Network Applications인용 수 14

한 줄 요약

WoodFisher는 신경망 압축을 위한 헤시안 역행렬의 효율적이고 정확한 근사치를 제안하며, 제2차 정보를 활용하여 기존 방법을 초월하는 1회성 및 점진적 프루닝 성능을 달성한다. ImageNet ILSVRC에서 ResNet-50 및 MobileNetV1을 압축할 때 최신 기술 수준의 테스트 정확도를 달성하며, 압축 품질과 일반화 능력 모두에서 이전 방법을 뛰어넘는다.

ABSTRACT

Second-order information, in the form of Hessian- or Inverse-Hessian-vector products, is a fundamental tool for solving optimization problems. Recently, there has been significant interest in utilizing this information in the context of deep neural networks; however, relatively little is known about the quality of existing approximations in this context. Our work examines this question, identifies issues with existing approaches, and proposes a method called WoodFisher to compute a faithful and efficient estimate of the inverse Hessian. Our main application is to neural network compression, where we build on the classic Optimal Brain Damage/Surgeon framework. We demonstrate that WoodFisher significantly outperforms popular state-of-the-art methods for one-shot pruning. Further, even when iterative, gradual pruning is considered, our method results in a gain in test accuracy over the state-of-the-art approaches, for pruning popular neural networks (like ResNet-50, MobileNetV1) trained on standard image classification datasets such as ImageNet ILSVRC. We examine how our method can be extended to take into account first-order information, as well as illustrate its ability to automatically set layer-wise pruning thresholds and perform compression in the limited-data regime. The code is available at the following link, this https URL.

연구 동기 및 목표

• 딥 신경망에서 신뢰할 수 있는 제2차 근사치의 부족을 해결하기 위해, 특히 모델 압축을 위해.
• 신경망 최적화 맥락에서 헤시안 역행렬 추정의 정밀도와 효율성을 향상시키기 위해.
• 정확한 제2차 정보를 활용하여 1회성 및 점진적 프루닝 성능을 향상시키기 위해.
• 수동적인 하이퍼파rameter 조정에 의존하지 않고 자동으로 계층별 프루닝 임계값을 설정하고, 저자료 환경에서 효과적인 압축을 가능하게 하기 위해.

제안 방법

• WoodFisher는 정확도와 계산 비용의 균형을 고려한 새로운 근사 기법을 사용하여 헤시안 역행렬의 신뢰도 높고 효율적인 추정치를 계산한다.
• 구조적 프루닝을 위해 고품질의 제2차 정보를 통합함으로써 Optimal Brain Damage/Surgeon 프레임워크를 확장한다.
• 첫 번째 및 두 번째 차수 정보를 통합하여 프루닝 결정을 정교화하고 일반화 능력을 향상시킨다.
• 추정된 곡률 기반으로 자동으로 계층별 프루닝 임계값을 설정하여 수동 하이퍼파rameter 조정의 의존도를 감소시킨다.
• ResNet-50 및 MobileNetV1과 같은 대규모 모델에 효율적으로 스케일링되도록 설계되어 실용적 구현을 가능하게 한다.
• 일괄적 및 반복적 프루닝 모두를 지원하며, 일관된 테스트 정확도 향상을 기록한다.

실험 결과

연구 질문

• RQ1 기존의 헤시안 역행렬 근사치는 딥 신경망 맥락에서 얼마나 정확한가?
• RQ2 더 정확하고 효율적인 헤시안 역행렬 근사치는 모델 압축 결과를 향상시킬 수 있는가?
• RQ3 제2차 정보를 통합하면 프루닝 후 보다 우수한 일반화와 높은 정확도를 달성할 수 있는가?
• RQ4 WoodFisher는 수동 조정 없이 최적의 계층별 프루닝 임계값을 자동으로 결정할 수 있는가?
• RQ5 WoodFisher는 저자료 환경에서 모델 압축에 대해 어떻게 성능을 발휘하는가?

주요 결과

• WoodFisher는 ResNet-50 및 MobileNetV1을 1회성 프루닝을 통해 압축할 때 ImageNet ILSVRC에서 최신 기술 수준의 테스트 정확도를 달성한다.
• 반복적, 점진적 프루닝 조건에서도 WoodFisher는 기존 최신 기술 수준의 방법보다 테스트 정확도를 향상시킨다.
• 이전 방법에 비해 더 정확하고 효율적인 헤시안 역행렬 근사치를 제공한다.
• WoodFisher는 수동 하이퍼파rameter 조정에 의존하지 않고 자동으로 계층별 프루닝 임계값을 설정할 수 있도록 한다.
• 제한된 훈련 데이터로도 효과적인 압축을 가능하게 하며, 저자료 환경에서 뛰어난 성능을 보여준다.
• 코드가 공개되어 있어 재현성과 향후 연구를 촉진한다.