[논문 리뷰] A Gradient Flow Framework For Analyzing Network Pruning

Ekdeep Singh Lubana, Robert P. Dick|arXiv (Cornell University)|2021. 05. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 파라미터 노름이 훈련 중 모델 진화에 미치는 영향을 분석함으로써 네트워크 프루닝 방법을 통합하는 그래디언트 플로우 프레임워크를 제안한다. 이는 크기 기반 프루닝이 수렴을 가속화하고, 손실 유지 프루닝이 일阶 역동성을 유지하며, 그래디언트 노름 기반 프루닝이 이阶 역동성을 교란함을 드러내어 이른 시점의 프루닝이 이론적 우려에도 불구하고 작동하는 이유를 설명한다.

ABSTRACT

Recent network pruning methods focus on pruning models early-on in training. To estimate the impact of removing a parameter, these methods use importance measures that were originally designed to prune trained models. Despite lacking justification for their use early-on in training, such measures result in surprisingly low accuracy loss. To better explain this behavior, we develop a general framework that uses gradient flow to unify state-of-the-art importance measures through the norm of model parameters. We use this framework to determine the relationship between pruning measures and evolution of model parameters, establishing several results related to pruning models early-on in training: (i) magnitude-based pruning removes parameters that contribute least to reduction in loss, resulting in models that converge faster than magnitude-agnostic methods; (ii) loss-preservation based pruning preserves first-order model evolution dynamics and is therefore appropriate for pruning minimally trained models; and (iii) gradient-norm based pruning affects second-order model evolution dynamics, such that increasing gradient norm via pruning can produce poorly performing models. We validate our claims on several VGG-13, MobileNet-V1, and ResNet-56 models trained on CIFAR-10/CIFAR-100.

연구 동기 및 목표

• 완전히 훈련된 모델을 대상으로 설계된 중요도 측정 방식이 훈련 초반에 프루닝할 경우 성능이 잘 나오는 이유를 이해하기 위해.
• 그래디언트 플로우와 파라미터 노름 진화를 기반으로 한 공통 이론적 프레임워크를 통해 기존의 프루닝 방법을 통합하기 위해.
• 다양한 프루닝 전략이 모델 파라미터 진화의 일阶 및 이阶 역동성에 어떻게 영향을 미치는지 분석하기 위해.
• VGG-13, MobileNet-V1, ResNet-56와 같은 표준 아키텍처에서 CIFAR-10 및 CIFAR-100에 대해 프레임워크의 예측을 검증하기 위해.
• 특히 정확도 손실를 최소화하는 데 성공한 이른 시점 프루닝의 경험적 성공에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 프레임워크는 네트워크 훈련을 연속적인 그래디언트 플로우로 모델링하여 파라미터 노름이 시간에 따라 어떻게 변화하는지 추적한다.
• 크기, 손실 유지, 그래디언트 노름 기반 프루닝 기준을 모델 파라미터의 노름과 그 도함수로 표현한다.
• 이론적 분석을 통해 프루닝 방법을 모델 진화의 역동성(일阶: 손실 감소, 이阶: 손실 곡면의 곡률)과 연결한다.
• 미분방정식을 사용하여 파라미터 진화를 모델링함으로써, 프루닝이 모델 궤적을 유지하거나 왜곡하는 조건을 유도한다.
• VGG-13, MobileNet-V1, ResNet-56를 CIFAR-10 및 CIFAR-100에서 훈련한 후 정확도와 수렴 속도를 비교하여 실증적 검증을 수행한다.
• 손실 역동성을 유지하는 프루닝(손실 유지)과 곡률을 변화시키는 프루닝(그래디언트 노름 기반)을 구분하고, 이를 모델 성능과 연결한다.

실험 결과

연구 질문

• RQ1 크기 기반 프루닝 방법이 훈련 초반에 적용되더라도, 완전히 훈련된 모델을 대상으로 설계된 방법임에도 불구하고 정확도 손실이 적은 이유는 무엇인가?
• RQ2 다양한 프루닝 기준이 모델 파라미터 진화의 일阶 및 이阶 역동성과 어떻게 관련되어 있는가?
• RQ3 모델의 훈련 궤적과 일반화 능력을 유지하기 위한 조건은 무엇인가?
• RQ4 그래디언트 노름 기반 프루닝이 모델 수렴과 성능에 미치는 영향는 어떠한가?
• RQ5 파라미터 노름 진화를 통해 다양한 프루닝 방법의 행동을 통합적으로 설명할 수 있는 프레임워크가 가능한가?

주요 결과

• 크기 기반 프루닝은 손실 감소에 기여도가 가장 낮은 파라미터를 제거하여, 크기 무관 기반 방법보다 더 빠른 수렴을 이끈다.
• 손실 유지 기반 프루닝은 일阶 모델 진화 역동성을 유지하므로, 최소한의 훈련이 이루어진 모델에 적합하다.
• 그래디언트 노름 기반 프루닝은 이阶 역동성에 영향을 미치며, 프루닝을 통해 그래디언트 노름을 증가시키면 모델 성능이 악화될 수 있다.
• 제안된 그래디언트 플로우 프레임워크는 파라미터 노름 진화를 통해 다수의 프루닝 방법을 통합하고 설명하는 데 성공했다.
• VGG-13, MobileNet-V1, ResNet-56에 대한 실증 결과는 손실 유지 프루닝이 정확도를 유지하는 반면, 크기 기반 프루닝이 수렴 속도를 가속화함을 확인했다.
• 프레임워크는 이른 시점 프루닝의 경험적 성공에 대한 이론적 근거를 제공하며, 원래는 이른 훈련을 대상으로 설계되지 않은 중요도 측정 방식을 사용할 경우에도 성공을 설명한다.