[논문 리뷰] Demystifying Neural Network Filter Pruning

Zhuwei Qin, Fuxun Yu외 2명|arXiv (Cornell University)|2018. 10. 29.

Advanced Neural Network Applications참고 문헌 7인용 수 6

한 줄 요약

이 논문은 ℓ₁ 노름과 같이 크기 순으로 정렬하는 것에 의존하지 않고, 필터의 특징 추출 패턴에 기반해 부용한 필터를 식별하고 제거하는 功能 중심 필터 프루닝 방법을 제안한다. 활성화 최적화를 통해 필터의 기능을 시각화하고 유사한 필터를 군집화함으로써, 최소한의 재학습으로도 높은 모델 정확도를 달성한다. 이는 프루닝이 기능적으로 정보를 갖춘 경우 재학습이 거의 필요로 하지 않는다는 것을 보여준다.

ABSTRACT

Based on filter magnitude ranking (e.g. L1 norm), conventional filter pruning methods for Convolutional Neural Networks (CNNs) have been proved with great effectiveness in computation load reduction. Although effective, these methods are rarely analyzed in a perspective of filter functionality. In this work, we explore the filter pruning and the retraining through qualitative filter functionality interpretation. We find that the filter magnitude based method fails to eliminate the filters with repetitive functionality. And the retraining phase is actually used to reconstruct the remained filters for functionality compensation for the wrongly-pruned critical filters. With a proposed functionality-oriented pruning method, we further testify that, by precisely addressing the filter functionality redundancy, a CNN can be pruned without considerable accuracy drop, and the retraining phase is unnecessary.

연구 동기 및 목표

• 크기 기반 필터 프루닝(예: ℓ₁ 노름)이 높은 프루닝 효율에도 불구하고 정확도 저하를 유발하는 이유를 탐구하기 위해.
• 기본적인 프루닝 파이프라인에서 재학습 단계의 역할을 필터의 기능성 관점에서 분석하기 위해.
• 크기 기반이 아니라 기능적 부용성에 초점을 맞춘 프루닝 방법을 개발하여 정확도 저하를 최소화하기 위해.
• 프루닝이 필터의 기능적 독창성에 의해 이끌릴 경우 재학습이 필수적이지 않음을 입증하기 위해.

제안 방법

• 각 필터가 최대한 활성화되는 입력 이미지를 생성함으로써 활성화 최적화(AM)를 사용해 필터의 기능을 시각화한다.
• 유사한 시각화된 패턴을 가진 필터를 군집화하기 위해 K-means 군집화를 적용하여, 군집 수준에서 기능적 부용성을 식별한다.
• 기울기 기반 시각화(1/N ∑‖∂Z/∂Aᵢ(xₙ)‖)를 사용해 기여도 지수 γᵢ를 계산하여 각 군집 내 필터를 순위 매긴다.
• 기여도 지수가 가장 낮은 필터부터 프루닝하며, 프루닝 비율은 군집 크기에 비례하여 더 부용한 군집일수록 더 많이 제거된다.
• 전체 기능적 부용성을 줄이기 위해 네트워크 전반에 걸쳐 계층적으로 이 방법을 적용한다.
• 정확도 복구 곡선과 재학습 중 필터 기능성 안정성의 시각적 분석을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 왜 크기 기반 필터 프루닝(예: ℓ₁ 노름)은 효과적인 계산 감소에도 불구하고 정확도 저하를 초래하는가?
• RQ2 기본적인 필터 프루닝에서 재학습 단계의 진정한 역할은 무엇인가—기능 복구인지 네트워크 재구성인가?
• RQ3 필터의 기능적 중복성을 정확히 식별하고 이를 활용해 정확도 손실 없이 프루닝 효율을 향상시킬 수 있는가?
• RQ4 프루닝이 크기 기반 대신 기능적 독창성에 의해 이끌릴 경우, 재학습을 얼마나 줄일 수 있는가?

주요 결과

• 크기 기반 프루닝(예: ℓ₁ 노름)은 기능적으로 부용한 필터를 제거하지 못하며, 동일한 특징을 추출하는 필터조차도 높은 크기의 필터를 유지한다.
• 기본적인 프루닝에서 재학습은 주로 남아있는 필터의 기능성을 복구하기 위한 것이며, 이는 프루닝으로 인해 원래 네트워크의 구성이 파손되었음을 시사한다.
• 특히 크기가 작지만 기능적으로 중요한 필터의 기능은 재학습 중에 크게 변화한다.
• 제안된 기능 중심 프루닝은 재학습 전후로도 안정적인 필터 기능성을 유지하며, 시각화된 패턴(예: 고양이, 사슴)이 반복적으로 일관되게 유지된다.
• 제안된 방법을 사용한 프루닝 모델은 ℓ₁ 노름 프루닝에 비해 특히 높은 프루닝 비율에서 정확도 저하가 훨씬 느리게 발생한다.
• 정확도 복구가 더 빠르며 재학습에 크게 의존하지 않으며, 주요 정확도 변화는 대규모 기능 복구가 아닌 미세조정에 의해 발생한다.