[논문 리뷰] The Incredible Shrinking Neural Network: New Perspectives on Learning Representations Through The Lens of Pruning

Aditya Sharma, Nikolas Wolfe외 1명|arXiv (Cornell University)|2017. 01. 16.

Neural Networks and Applications참고 문헌 14인용 수 13

한 줄 요약

이 논문은 훈련된 신경망에서 개별 가중치가 아닌 전체 뉴런을 제거하는 프루닝을 제안하며, 재훈련 없이도 40–70%의 뉴런을 순차적으로 제거해도 정확도 저하가 최소화됨을 보여준다. 기존의 프루닝에 대한 오랜 관념을 도전하며, 뉴런 중요도가 균일하지 않으며, 뉴런 간 상호의존성이 존재해 기존 방법에서 사용하는 선형 또는 이차 오차 근사가 잘못됨을 밝힌다.

ABSTRACT

How much can pruning algorithms teach us about the fundamentals of learning representations in neural networks? And how much can these fundamentals help while devising new pruning techniques? A lot, it turns out. Neural network pruning has become a topic of great interest in recent years, and many different techniques have been proposed to address this problem. The decision of what to prune and when to prune necessarily forces us to confront our assumptions about how neural networks actually learn to represent patterns in data. In this work, we set out to test several long-held hypotheses about neural network learning representations, approaches to pruning and the relevance of one in the context of the other. To accomplish this, we argue in favor of pruning whole neurons as opposed to the traditional method of pruning weights from optimally trained networks. We first review the historical literature, point out some common assumptions it makes, and propose methods to demonstrate the inherent flaws in these assumptions. We then propose our novel approach to pruning and set about analyzing the quality of the decisions it makes. Our analysis led us to question the validity of many widely-held assumptions behind pruning algorithms and the trade-offs we often make in the interest of reducing computational complexity. We discovered that there is a straightforward way, however expensive, to serially prune 40-70% of the neurons in a trained network with minimal effect on the learning representation and without any re-training. It is to be noted here that the motivation behind this work is not to propose an algorithm that would outperform all existing methods, but to shed light on what some inherent flaws in these methods can teach us about learning representations and how this can lead us to superior pruning techniques.

연구 동기 및 목표

• 프루닝이 개별 가중치를 대상으로 하는 것이 아니라 전체 뉴런을 대상으로 해야 한다는 널리 공유된 가정을 도전하기 위해.
• 오차 표면 근사 및 뉴런 독립성에 관한 일반적인 프루닝 가정의 타당성을 조사하기 위해.
• 전체 뉴런을 제거함으로써 고압축을 달성하고 성능 저하를 최소화할 수 있음을 경험적으로 입증하기 위해.
• 관련 뉴런과 무관한 뉴런 간 숨겨진 상호의존성을 드러내어, 프루닝이 네트워크 동역학을 종합적으로 영향을 미침을 보여주기 위해.
• 히우리스틱 기반의 가중치 제거가 아닌 학습 표현에 대한 통찰을 강조함으로써 프루닝의 패러다임 전환을 주장하기 위해.

제안 방법

• 각 뉴런을 개별적으로 제거했을 때 네트워크 출력에 미치는 영향을 평가하는 브루트포스, 순차적 뉴런 프루닝 방법을 제안한다.
• 각 뉴런 제거 후 네트워크 성능을 완전히 평가하여 기울기 기반 또는 헤시안 기반 근사에 의존하지 않는다.
• 회귀 문제와 오차 표면 시각화를 사용해 뉴런 제거 주변의 진짜 손실 표면의 형태를 분석한다.
• 선형 또는 이차 오차 근사를 사용하는 기존 프루닝 기법(예: Optimal Brain Damage, Optimal Brain Surgeon)과 브루트포스 방법을 비교한다.
• 무관한 뉴런 제거가 다른 뉴런의 기여도에 어떻게 영향을 미치는지 측정함으로써 뉴런 간 상호의존성을 분석한다. 이는 동적 재구성의 존재를 보여준다.
• 경험적 실험을 통해 훈련된 네트워크에서 40–70%의 뉴런을 제거해도 정확도 저하가 최소화됨을 검증한다.

실험 결과

연구 질문

• RQ1 신경망의 학습 표현이 뉴런 간에 균일하게 분포되어 있는가? 이는 전통적 프루닝 가정에 어떤 도전을 가하는가?
• RQ2 선형 또는 이차 오차 함수를 통해 뉴런 중요도를 근사하는 표준 프루닝 알고리즘이 최적의 프루닝 결정을 내리지 못하는 이유는 무엇인가?
• RQ3 완전히 훈련된 네트워크에서 '무관한' 뉴런의 역할은 무엇이며, 다른 뉴런의 기여도에 어떤 영향을 미치는가?
• RQ4 브루트포스, 순차적 뉴런 프루닝 방법은 고압축과 최소한의 성능 저하를 달성할 수 있는가? 만약 가능하다면, 히우리스틱 기반 접근보다 왜 더 효과적인가?
• RQ5 뉴런 간 상호의존성이 뉴런을 독립적으로 프루닝할 수 있다는 가정을 어떻게 무너뜨리는가?

주요 결과

• 개별 가중치가 아닌 전체 뉴런을 프루닝하면 재훈련 없이도 원본 크기의 40–70%까지의 압축을 달성하면서 정확도 저하가 최소화된다.
• 브루트포스 뉴런 프루닝 방법은 선형 또는 이차 오차 근사를 사용하는 표준 기법들(예: Optimal Brain Damage)보다 성능이 뛰어나다.
• 이 연구는 Mozer & Smolensky(1989)의 관찰을 경험적으로 확인하며, 오직 몇몇 '엘리트' 뉴런만이 주요 학습 표현을 담당하고 나머지는 보조 역할을 한다는 것을 입증한다.
• 무관한 뉴런은 실제로는 여유롭지 않다. 그들의 제거는 전체 네트워크의 동역학을 변화시키며, 뉴런 간 강한 상호의존성이 있음을 시사한다.
• 오차 표면 시각화 결과, 표준 프루닝 방법은 손실 표면의 진짜 형태를 과도하게 단순화한 근사로 인해 치명적인 결정을 내릴 수 있음을 보여준다.
• 비록 계산 비용이 높지만, 브루트포스 뉴런 프루닝은 높은 수준의 병렬 처리가 가능하며, 부분집합 기반 근사법을 사용하면 실용적으로 구현 가능할 수 있다.