[논문 리뷰] Functionality-Oriented Convolutional Filter Pruning

Zhuwei Qin, Fuxun Yu외 2명|arXiv (Cornell University)|2018. 10. 12.

Advanced Neural Network Applications참고 문헌 29인용 수 10

한 줄 요약

이 논문은 가중치 크기 외에 학습된 기능적 특성 선호도를 기반으로 재건된 필터를 식별하고 제거하는 功能 중심의 컨volutional 필터 프루닝 방법을 제안한다. 활성화 최적화를 통해 시각화된 기능적 특성에 기반하여, 유사한 功能을 가진 필터를 군집화하고 각 군집 내에서 가장 중요도가 낮은 필터를 제거함으로써, 최대 68.88%의 FLOPs 감소를 달성하면서 정확도 저하가 0.34% 미만이며 재훈련 의존도도 최소화한다. 기존의 가중치 순위 기반 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

The sophisticated structure of Convolutional Neural Network (CNN) allows for outstanding performance, but at the cost of intensive computation. As significant redundancies inevitably present in such a structure, many works have been proposed to prune the convolutional filters for computation cost reduction. Although extremely effective, most works are based only on quantitative characteristics of the convolutional filters, and highly overlook the qualitative interpretation of individual filter's specific functionality. In this work, we interpreted the functionality and redundancy of the convolutional filters from different perspectives, and proposed a functionality-oriented filter pruning method. With extensive experiment results, we proved the convolutional filters' qualitative significance regardless of magnitude, demonstrated significant neural network redundancy due to repetitive filter functions, and analyzed the filter functionality defection under inappropriate retraining process. Such an interpretable pruning approach not only offers outstanding computation cost optimization over previous filter pruning methods, but also interprets filter pruning process.

연구 동기 및 목표

• 가중치 크기 기반 필터 프루닝의 한계를 해결하기 위해, 기능적 해석 가능성 부족과 높은 재훈련 비용을 해결하고자 한다.
• 필터의 중복성이 단지 가중치 크기 때문이 아니라 기능적 반복성 때문인지 탐구하고자 한다.
• 기능적으로 중복된 필터를 식별하고 제거하여 모델의 기능적 통합성을 유지하는 프루닝 방법을 개발하고자 한다.
• 가중치 크기로만 판단하지 않고 기능적으로 진짜로 중복된 필터를 제거함으로써 재훈련 의존도를 줄이고자 한다.

제안 방법

• 각 컨volutional 필터가 최대로 활성화되는 입력 패턴을 활성화 최적화를 통해 생성하여, 해당 필터의 기능적 선호도를 드러낸다.
• 이러한 패턴을 시각화하여 유사한 기능적 특성 선호도를 가진 필터 군집을 식별하고, 기능적 중복성을 확인한다.
• 각 레이어별로 필터를 기능 군집으로 그룹화하고, 각 군집 내에서 가장 중요도가 낮은 필터를 제거 대상으로 선정한다.
• 절대적인 가중치 크기 외에 군집 내 기능 기여도 기반으로 프루닝을 적용한다.
• 모델의 기능적 통합성이 유지되므로, 프루닝 후 최소한의 미세조정을 수행한다.
• 재훈련 중 필터 기능의 진화를 정성적 분석함으로써 프루닝 결정의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 CNN 내 중복 필터는 주로 낮은 가중치 크기 때문이 아니라 기능적 반복성 때문인가?
• RQ2 프루닝 전에 필터의 기능적 해석을 통해 프루닝의 효과성과 정확도를 향상시킬 수 있는가?
• RQ3 가중치 크기 기반 프루닝은 재훈련 과정에서 원본 모델의 기능적 통합성을 손상시키는가?
• RQ4 가중치 크기 대신 기능 유사성에 기반한 프루닝을 통해 재훈련 노력은 어느 정도 줄일 수 있는가?
• RQ5 다양한 데이터셋과 아키텍처에서 기능 기반 프루닝이 전통적 방법에 비해 FLOPs 감소 및 정확도 유지 측면에서 어떻게 비교되는가?

주요 결과

• CIFAR-10에서, ResNet-56에 대해 43%의 FLOPs 감소와 0.05%의 상대 정확도 향상을 달성하였고, VGG-16에선 44.1%의 FLOPs 감소와 0.72%의 상대 정확도 향상을 기록하였다.
• CIFAR-100에서, VGG-16에 대해 FLOPs를 37.2% 감소시켰고 정확도 손실 없이 성능을 유지하였으며, ImageNet-100에선 1%의 정확도 향상을 달성하였다.
• ImageNet-10에서, VGG-16에 대해 50.64%의 FLOPs 감소와 함께 1%의 정확도 향상을 기록하였고, ResNet-32에선 23.8%의 FLOPs 감소와 정확도 손실 없이 성능을 유지하였다.
• 제안된 방법은 재훈련 노력이 크게 줄었으며, 100회 이내의 반복만으로 원래 정확도 수준에 거의 복귀하였다. 반면 ℓ₁-노름 프루닝은 약 3% 낮은 성능을 유지하였다.
• 필터 기능 시각화 결과, ℓ₁-노름 프루닝은 재훈련 중에 필터의 기능이 극적으로 변화시키는 것으로 나타났지만, 제안된 방법은 필터 기능을 잘 유지하였다.
• 본 연구는 효과적이고 효율적인 필터 프루닝의 기초로 기능적 중복성—단지 가중치 크기 외에도—이 여전히 중요하다는 것을 입증한다.