[논문 리뷰] Pruning artificial neural networks: a way to find well-generalizing, high-entropy sharp minima

Enzo Tartaglione, Andrea Bragagnolo외 1명|arXiv (Cornell University)|2020. 04. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 12

한 줄 요약

이 논문은 일회성 및 점진적 신경망 프루닝을 비교하여, 점진적 프루닝이 기존의 일회성 방법으로는 도달할 수 없었던 잘 일반화되는 고엔트로피의 날카로운 최소값에 접근할 수 있음을 보여준다. 또한 PSP-엔트로피를 도입하여 점진적으로 프루닝된 모델이 더 일반화 가능한, 클래스에 의존하지 않는 특징을 학습함을 드러내며, 이는 높은 계산 비용에도 불구하고 전이 학습에서 뛰어난 성능을 발휘하게 한다.

ABSTRACT

Recently, a race towards the simplification of deep networks has begun, showing that it is effectively possible to reduce the size of these models with minimal or no performance loss. However, there is a general lack in understanding why these pruning strategies are effective. In this work, we are going to compare and analyze pruned solutions with two different pruning approaches, one-shot and gradual, showing the higher effectiveness of the latter. In particular, we find that gradual pruning allows access to narrow, well-generalizing minima, which are typically ignored when using one-shot approaches. In this work we also propose PSP-entropy, a measure to understand how a given neuron correlates to some specific learned classes. Interestingly, we observe that the features extracted by iteratively-pruned models are less correlated to specific classes, potentially making these models a better fit in transfer learning approaches.

연구 동기 및 목표

• 프루닝 전략이 최소한의 성능 손실로 높은 일반화 성능을 달성하는 이유를 조사하기 위해.
• 모델의 희박성, 일반화 능력, 최소값 성질 측면에서 일회성 프루닝과 점진적 프루닝을 비교하기 위해.
• 날카로운 최소값이 잘 일반화될 수 있는지, 기존의 평탄한 최소값이 더 낫다는 믿음에 도전하기 위해.
• 프루닝된 모델에서 뉴런의 전문화도와 특징의 일반화 정도를 수량화하기 위한 지표(PSP-엔트로피)를 개발하기 위해.
• 특징 추상화의 품질에 기반해 프루닝된 모델이 전이 학습에 얼마나 적합한지 평가하기 위해.

제안 방법

• MNIST, CIFAR-10, ImageNet에서 LeNet-5 및 기타 아키텍처에 대해 일회성 프루닝(e.g., Frankle & Carbin)과 점진적 프루닝(e.g., LOBSTER)을 비교한다.
• 헤시안 고유값 분석을 통해 최소값의 날카기 정도를 평가하며, 효율적인 근사 방법을 사용해 상위 5개 고유값을 계산한다.
• PSP-엔트로피를 도입한다. 이는 후시냅틱 전위(PSP) L2 노름과 그 클래스별 분포를 기반으로 뉴런의 전문화 정도를 수량화하는 지표이다.
• 일회성 솔루션과 점진적 솔루션 간의 2D 손실 맵을 활용해 손실 곡면과 최소값의 넓이를 시각화한다.
• PSP L2-노름 크기를 분석하여 활성화 강도와 네트워크의 희박성 영향을 평가한다.
• 일차 및 이차 PSP-엔트로피를 적용하여 특징의 특정성 평가: 낮은 엔트로피는 클래스에 특정된 뉴런을, 높은 엔트로피는 일반화 능력을 나타낸다.

실험 결과

연구 질문

• RQ1 점진적 프루닝은 일회성 프루닝이 접근할 수 없는 잘 일반화되는 날카로운 최소값에 도달할 수 있는가?
• RQ2 고엔트로피의 날카로운 최소값이 평탄한 최소값보다 더 잘 일반화되는가? 이는 기존의 통념과 반대된다.
• RQ3 일회성 프루닝과 점진적 프루닝 모델 간의 특징 추상화에 측정 가능한 차이가 존재하는가?
• RQ4 PSP-엔트로피는 프루닝된 네트워크에서 특징의 일반화 정도를 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ5 점진적 프루닝 모델이 더 일반적인 특징을 가지기 때문에 전이 학습에서 일회성 프루닝 모델을 능가하는가?

주요 결과

• 점진적 프루닝은 높은 압축률에서 특히 더 높은 희박성(최대 99.57% 프루닝된 파라미터)을 달성하면서도 일회성 프루닝보다 더 우수한 일반화 성능을 보인다.
• 점진적 프루닝으로 도달한 해는 일회성 프루닝보다 더 좁지만 손실도 더 낮은 최소값에 위치해 있어, 독특하고 잘 일반화되는 날카로운 최소값에 도달한 것으로 나타났다.
• 더 날카로운 최소값임에도 불구하고 점진적 프루닝 모델은 더 잘 일반화되며, 이는 평탄한 최소값만이 잘 일반화된다는 가정을 뒤집는 결과이다.
• PSP-엔트로피 분석 결과, 점진적 프루닝 모델은 일회성 모델보다 유의미하게 높은 이차 엔트로피를 보이며, 더 일반적이고 클래스에 특정되지 않은 특징을 학습함을 시사한다.
• 점진적 프루닝 모델에서 낮은 PSP L2-노름 값은 활성화 크기가 감소함을 의미하며, 이는 더 안정적이고 일반화 가능한 표현에 기여한다.
• 결과적으로 점진적 프루닝 모델은 비특이적이고 일반적인 목적의 특징을 추출할 수 있기 때문에 전이 학습에 더 적합하다는 것이 암시된다.