[논문 리뷰] A Unified Paths Perspective for Pruning at Initialization

Thomas Gebhart, Udit Saxena외 1명|arXiv (Cornell University)|2021. 01. 26.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 10

한 줄 요약

이 논문은 신경망 학습 동역학에 대한 아키텍처 영향을 캡처하는 데이터에 의존하지 않는 신경 탄성 커널의 분해인 Path Kernel을 도입한다. 경로 공분산 구조를 분석함으로써 초기화 시 프루닝 방법들을 통합하고, 학습 이전에 수렴성과 일반화 성능을 예측할 수 있으며, 실증적 검증을 통해 넓은 네트워크에서 폭 넓이에 강건한 프루닝 변형인 SynFlow-L2의 성능 향상을 입증한다.

ABSTRACT

A number of recent approaches have been proposed for pruning neural network parameters at initialization with the goal of reducing the size and computational burden of models while minimally affecting their training dynamics and generalization performance. While each of these approaches have some amount of well-founded motivation, a rigorous analysis of the effect of these pruning methods on network training dynamics and their formal relationship to each other has thus far received little attention. Leveraging recent theoretical approximations provided by the Neural Tangent Kernel, we unify a number of popular approaches for pruning at initialization under a single path-centric framework. We introduce the Path Kernel as the data-independent factor in a decomposition of the Neural Tangent Kernel and show the global structure of the Path Kernel can be computed efficiently. This Path Kernel decomposition separates the architectural effects from the data-dependent effects within the Neural Tangent Kernel, providing a means to predict the convergence dynamics of a network from its architecture alone. We analyze the use of this structure in approximating training and generalization performance of networks in the absence of data across a number of initialization pruning approaches. Observing the relationship between input data and paths and the relationship between the Path Kernel and its natural norm, we additionally propose two augmentations of the SynFlow algorithm for pruning at initialization.

연구 동기 및 목표

• 다양한 초기화 시 프루닝 방법들을 단일 이론적 프레임워크 아래 통합하기 위해.
• 신경 탄성 커널을 데이터에 의존하지 않는(경로 커널) 및 데이터에 의존하는 성분으로 분해하여 학습 동역학을 분석하기 위해.
• 오직 아키텍처 정보만을 사용하여 학습 이전에 네트워크의 수렴성과 일반화 성능을 예측하기 위해.
• Path Kernel의 구조를 활용하여 SynFlow과 같은 기존 프루닝 알고리즘을 향상시키기 위해.
• 아키텍처와 압축 비율에 관계없이 데이터 없이 프루닝 효과를 평가할 수 있도록 하기 위해.

제안 방법

• 동질적 활성화를 가진 신경망에서 경로 활성화의 대칭 공분산 행렬로 Path Kernel을 도입한다.
• 신경 탄성 커널을 Path Kernel과 데이터에 의존하는 항의 곱으로 분해한다.
• Path Kernel이 학습 동역학에 대한 전반적인 아키텍처 영향을 캡처함으로써 데이터 없이 수렴성을 예측할 수 있음을 보여준다.
• 기존 프루닝 방법들(예: SynFlow)을 경로 중심 프레임워크 내에서 재구성하여, 이들이 경로 공분산에 암묵적으로 의존하고 있음을 드러낸다.
• Path Kernel의 노름과 구조를 기반으로 한 두 가지 새로운 프루닝 변형—SynFlow-L2와 분포 기반 변형—을 제안한다.
• 완전히 연결된 네트워크, VGG, ResNet 아키텍처에서 MNIST, CIFAR-10, CIFAR-100에 대해 실증적 평가를 통해 예측을 검증한다.

실험 결과

연구 질문

• RQ1 학습 동역학에서 아키텍처 영향과 데이터에 의존하는 영향을 분리하기 위해 신경 탄성 커널을 어떻게 분해할 수 있는가?
• RQ2 경로 공분산 구조는 초기화 시 프루닝된 네트워크의 수렴성과 일반화 성능을 결정하는 데 어떤 역할을 하는가?
• RQ3 기존의 초기화 시 프루닝 방법들은 Path Kernel의 고유구조에 어떻게 암묵적으로 의존하는가?
• RQ4 Path Kernel을 사용하여 어떤 학습이나 데이터 접근 없이도 프루닝 방법의 성능을 예측할 수 있는가?
• RQ5 Path Kernel의 구조를 기반으로 SynFlow에 가공을 가한 수정된 방법들은 모델의 넓이와 압축 비율에 걸쳐 어떻게 강건성을 향상시키는가?

주요 결과

• Path Kernel은 네트워크 수렴 동역학에 대한 데이터에 의존하지 않는 근사치를 제공하여, 입력 데이터 없이도 학습 행동을 예측할 수 있게 한다.
• SynFlow-L2는 더 넓은 네트워크(예: FC-1000, FC-2000)에서 표준 SynFlow보다 성능이 뛰어나며, 넓이에 강건함을 이론적으로 예측한 바를 검증한다.
• 분포 기반 프루닝 변형은 비분포 기반 변형보다 성능이 열 劣하며, 경로 값의 크기가 경로 분포보다 더 예측력이 높다는 것을 시사한다.
• ResNet20 모델은 VGG-11/VGG-16에 비해 높은 희박성에서도 더 높은 안정성을 보이며, 층 붕괴 현상이 덜 발생한다.
• Path Kernel의 고유구조는 일반화 성능과 강하게 상관되어 있어, 프루닝 효과를 조기에 평가할 수 있게 한다.
• 이 프레임워크는 초기화를 넘어서 일반화되며, 어떤 학습 단계에서든 경로 공분산 분석을 통해 모델의 해석과 표현 분석이 가능하다.