[논문 리뷰] SOSP: Efficiently Capturing Global Correlations by Second-Order Structured Pruning

Manuel Nonnenmacher, Thomas Pfeil외 2명|arXiv (Cornell University)|2021. 10. 19.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 논문은 빠른 헤시안-벡터 곱을 사용하여 모든 레이어에 걸쳐 전역 상관관계를 효율적으로 포착함으로써, 제1차 접근법과 유사한 확장성과 제2차 정확도를 유지하는 새로운 제2차 구조적 프루닝 방법인 SOSP를 제안한다. SOSP-H는 상당히 낮은 계산 비용으로 최신 기술 수준의 정확도를 달성하며, ResNet-50와 같은 대규모 모델로도 확장 가능하여 기존 방법보다 프루닝 효율성이 뛰어나고 아키텍처적 병목 현상을 체계적으로 탐지할 수 있다.

ABSTRACT

Pruning neural networks reduces inference time and memory costs. On standard hardware, these benefits will be especially prominent if coarse-grained structures, like feature maps, are pruned. We devise two novel saliency-based methods for second-order structured pruning (SOSP) which include correlations among all structures and layers. Our main method SOSP-H employs an innovative second-order approximation, which enables saliency evaluations by fast Hessian-vector products. SOSP-H thereby scales like a first-order method despite taking into account the full Hessian. We validate SOSP-H by comparing it to our second method SOSP-I that uses a well-established Hessian approximation, and to numerous state-of-the-art methods. While SOSP-H performs on par or better in terms of accuracy, it has clear advantages in terms of scalability and efficiency. This allowed us to scale SOSP-H to large-scale vision tasks, even though it captures correlations across all layers of the network. To underscore the global nature of our pruning methods, we evaluate their performance not only by removing structures from a pretrained network, but also by detecting architectural bottlenecks. We show that our algorithms allow to systematically reveal architectural bottlenecks, which we then remove to further increase the accuracy of the networks.

연구 동기 및 목표

• 모든 레이어에 걸쳐 전체 헤시안 상관관계를 포착하고, 전역적으로 인지하는 구조적 프루닝 방법을 개발하여 확장 가능하게 하는 것.
• 심층 신경망에서 전체 제2차 프루닝의 비가역성 문제를 해결하기 위해 저복잡도 근사치를 도입하는 것.
• 프루닝 마스크 분석과 이후 네트워크 확장에 의해 아키텍처 병목 현상을 체계적으로 탐지하는 것.
• 대규모 비전 작업에서 기존의 제1차 및 제2차 구조적 프루닝 방법보다 정확도, 효율성, 확장성 면에서 뛰어나게 하는 것.
• 모델 성능을 유지하면서 추론 비용을 줄이는 실용적이고 효율적이며 이론적으로 타당한 구조적 프루닝 방법을 제공하는 것.

제안 방법

• SOSP-H는 빠른 헤시안-벡터 곱을 기반으로 한 새로운 제2차 근사치를 사용하여, 제1차 방법과 유사한 복잡도로 효율적인 중요도 평가가 가능하다.
• 이 방법은 헤시안을 명시적으로 계산하지 않고 헤시안-벡터 곱을 통해 중요도 점수를 계산함으로써 심층 네트워크로의 확장성을 달성한다.
• SOSP-I는 비교를 위한 기준으로 잘 알려진 가우스-뉴턴 근사치를 사용하여 강력한 제2차 기반 참조를 제공한다.
• 프루닝 과정은 헤시안 근사치에서 유도된 중요도 점수를 바탕으로 전역적이고 구조 수준의 제거(예: 필터, 채널)를 적용한다.
• 이 방법은 프루닝 비율을 레이어 간에 분석함으로써 표준 프루닝과 아키텍처 병목 현상 탐지 모두를 지원한다.
• 매개변수 수와 MAC 수는 생존하는 필터 수와 공간 차원에 기반하여 정확히 계산되어 효율성 측정의 정확성을 보장한다.

실험 결과

연구 질문

• RQ1 제2차 구조적 프루닝 방법이 전역 상관관계를 전역적으로 포착하면서도 금지된 계산 비용 없이 효율적으로 작동할 수 있는가?
• RQ2 헤시안-벡터 곱을 활용한 헤시안 기반 중요도 근사치가 기존의 제1차 및 제2차 방법과 비교해 유사하거나 더 높은 정확도를 달성하면서도 저복잡도를 유지하는가?
• RQ3 SOSP가 생성한 프루닝 마스크는 병목 현상을 드러내며, 이를 확장함으로써 프루닝된 네트워크의 정확도를 향상시킬 수 있는가?
• RQ4 SOSP-H는 ResNet-50와 같은 대규모 비전 모델에서 SOSP-I 및 기타 최신 기술 수준의 프루닝 방법과 비교해 확장성과 효율성 면에서 어떻게 성능을 내는가?
• RQ5 근사치와 정확한 매개변수 및 MAC 수 계산 방법의 차이가 보고된 프루닝 비율과 성능 평가에 얼마나 큰 영향을 미치는가?

주요 결과

• SOSP-H는 제1차 접근법과 유사한 복잡도 덕분에 계산 비용을 줄이며, 최신 기술 수준의 프루닝 방법과 유사하거나 더 높은 정확도를 달성한다.
• SOSP-H는 ResNet-50와 같은 대규모 모델로 효과적으로 확장되어 모든 레이어에 걸쳐 전역적 구조적 프루닝을 수행하며 전체 헤시안 고려를 가능하게 한다.
• 저비율 프루닝 비율을 보이는 레이어를 식별함으로써 아키텍처 병목 현상을 성공적으로 탐지하고, 이를 확장함으로써 정확도 향상을 이룬다.
• ResNet-50 기반 ImageNet에서 SOSP-I는 15%의 MAC 프루닝 비율을 기록하지만, 근사 계산 방법은 27%의 비율을 산출하여 정확한 측정의 중요성을 강조한다.
• 이 논문에서 사용된 정확한 매개변수 및 MAC 수 계산 방법은 이전 연구에서 일반적으로 사용되는 근사치 방법보다 더 보수적이고 신뢰할 수 있는 효율성 추정치를 제공한다.
• SOSP-H는 SOSP-I보다 확장성과 효율성 면에서 뛰어나지 않으며, 헤시안-벡터 기반 근사치가 가우스-뉴턴 접근법보다 우월함을 입증한다.