[논문 리뷰] Dynamical Isometry: The Missing Ingredient for Neural Network Pruning

Huan Wang, Can Qin외 2명|arXiv (Cornell University)|2021. 05. 12.

Neural Networks and Applications참고 문헌 55인용 수 4

한 줄 요약

이 논문은 프루닝 이후 동적 등장성 붕괴가 미세조정 성능이 떨어지는 근본 원인임을 규명하고, 이를 복구하기 위한 플러그 앤 플레이 방법인 OrthP를 제안한다. 더 큰 미세조정 학습률이 정확도를 향상시키는 이유를 설명하며, 기존의 프루닝의 가치에 대한 논란을 해결한다. 그 이유는 최적화되지 않은 미세조정 설정—특히 낮은 학습률—이 스케치 학습과의 잘못된 비교를 유도하기 때문이다.

ABSTRACT

Several recent works [40, 24] observed an interesting phenomenon in neural network pruning: A larger finetuning learning rate can improve the final performance significantly. Unfortunately, the reason behind it remains elusive up to date. This paper is meant to explain it through the lens of dynamical isometry [42]. Specifically, we examine neural network pruning from an unusual perspective: pruning as initialization for finetuning, and ask whether the inherited weights serve as a good initialization for the finetuning? The insights from dynamical isometry suggest a negative answer. Despite its critical role, this issue has not been well-recognized by the community so far. In this paper, we will show the understanding of this problem is very important -- on top of explaining the aforementioned mystery about the larger finetuning rate, it also unveils the mystery about the value of pruning [5, 30]. Besides a clearer theoretical understanding of pruning, resolving the problem can also bring us considerable performance benefits in practice.

연구 동기 및 목표

• 더 큰 미세조정 학습률이 프루닝된 모델 성능을 크게 향상시키는 경험적 관찰을 설명하는 것.
• 스케치 학습과 비교했을 때 프루닝이 진정으로 가치가 있는지에 대한 논란을 해결하는 것.
• 신호 전파를 동적 등장성 측면에서 분석함으로써, 프루닝이 미세조정을 위한 좋은 초기화로 기능하는지 조사하는 것.
• 프루닝 이후 동적 등장성을 복구하기 위한 방법을 제안하여, 미세조정 수렴성과 최종 정확도를 향상시키는 것.

제안 방법

• 프루닝된 네트워크 내에서 신호 전파를 측정하기 위해 평균 자코비안 특이값(JSV)을 사용해 동적 등장성을 분석한다.
• 프루닝된 네트워크의 가중치를 직교화하여, 미세조정 전에 동적 등장성을 복원하는 OrthP를 제안한다.
• 다양한 미세조정 학습률이 동적 등장성 복구와 최종 정확도에 미치는 영향을 평가한다.
• 최적의 vs. 최적화되지 않은 학습률로 미세조정한 프루닝 모델을 스케치 학습 모델과 비교한다.
• 비선형 및 합성곱 아키텍처(예: LeNet-5-ReLU)에서 OrthP를 테스트하여 선형 모델을 초월한 일반화 성능을 평가한다.
• 신호 전파 분석을 통해 프루닝이 기울기 흐름을 어떻게 방해하는지, 그리고 표준적인 미세조정이 이를 복구하지 못하는 이유를 진단한다.

실험 결과

연구 질문

• RQ1 왜 더 큰 미세조정 학습률이 프루닝된 신경망에서 상당히 높은 성능을 내는가?
• RQ2 스케치 학습과 비교했을 때 프루닝이 진정으로 유용한가, 아니면 최적화되지 않은 미세조정 설정으로 인해 편향된 비교가 이루어지는가?
• RQ3 프루닝이 동적 등장성을 얼마나 심각하게 떨어뜨리는가, 그리고 이 손실을 미세조정 이전에 복구할 수 있는가?
• RQ4 OrthP와 같은 플러그 앤 플레이 방법이 실제로 실용적 네트워크에서 동적 등장성을 효과적으로 복구하고 미세조정 성능을 향상시킬 수 있는가?
• RQ5 네트워크 아키텍처, 프루닝 비율, 그리고 미세조정 하이퍼파ram터 간의 상호작용이 동적 등장성 복구에 어떻게 영향을 미치는가?

주요 결과

• 프루닝은 평균 자코비안 특이값(JSV)의 감소를 통해 동적 등장성이 뚜렷하게 악화됨을 측정했으며, 특히 높은 프루닝 비율에서 두드러진다.
• 더 큰 미세조정 학습률은 동적 등장성 복구를 가속화하여, 프루닝된 모델에서 성능 향상의 이유를 설명한다.
• 프루닝과 스케치 학습 간의 성능 격차는 본질적인 프루닝의 한계 때문이 아니라, 이전 연구에서 최적화되지 않은 미세조정 학습률 설정 때문임을 규명했다.
• 최적의 미세조정 학습률을 사용할 경우, 기초적인 L1-노름 프루닝조차도 다양한 프루닝 비율에서 스케치 학습을 초월하는 성능을 보였다.
• OrthP는 선형 및 단순한 비선형 네트워크에서 동적 등장성을 성공적으로 복구했지만, LeNet-5-ReLU와 같은 더 깊거나 복잡한 아키텍처에서는 효과가 감소했다.
• 이 연구는 미세조정이 후처리 단계가 아니라 핵심적인 복구 단계임을 드러내며, 프루닝 파이프라인에서 동적 등장성 복구를 우선시해야 한다고 제안한다.