[논문 리뷰] Convolutional Neural Network Pruning with Structural Redundancy Reduction

Zi Wang, Chengcheng Li외 1명|arXiv (Cornell University)|2021. 04. 08.

Advanced Neural Network Applications참고 문헌 50인용 수 14

한 줄 요약

이 논문은 채널 프루닝에서 필터 중요도 순위 매기기보다 구조적 부재성 감소를 우선시하는 새로운 채널 프루닝 방법을 제안한다. 그래프 기반 메트릭(ℓ-커버링 수와 몫 공간 크기)을 사용하여 프루닝할 가장 부적합한 레이어를 식별한다. 실험 결과, ResNet50에서 FLOPs를 44.1% 감소시키면서 ImageNet에서 상위 1위 정확도가 0.37% 뿐 감소하는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Convolutional neural network (CNN) pruning has become one of the most successful network compression approaches in recent years. Existing works on network pruning usually focus on removing the least important filters in the network to achieve compact architectures. In this study, we claim that identifying structural redundancy plays a more essential role than finding unimportant filters, theoretically and empirically. We first statistically model the network pruning problem in a redundancy reduction perspective and find that pruning in the layer(s) with the most structural redundancy outperforms pruning the least important filters across all layers. Based on this finding, we then propose a network pruning approach that identifies structural redundancy of a CNN and prunes filters in the selected layer(s) with the most redundancy. Experiments on various benchmark network architectures and datasets show that our proposed approach significantly outperforms the previous state-of-the-art.

연구 동기 및 목표

• 채널 프루닝에서 가장 중요도가 낮은 필터를 프루닝하는 것이 최적의 결과를 낳는다는 기존의 믿음을 도전하기 위해.
• 이론적이고도 실험적으로, 가장 높은 구조적 부재성을 가진 레이어를 프루닝할 경우 더 나은 모델 압축과 정확도 유지가 가능하다는 것을 입증하기 위해.
• 그래프 기반의 부재성 측정을 사용하여 가장 부적합한 레이어에서 필터를 식별하고 제거하는 레이어 적응형 프루닝 프레임워크를 개발하기 위해.
• 여러 아키텍처와 데이터셋을 통해 방법을 검증하여 일관된 최신 기술 수준(SOTA) 성능을 보여주기 위해.

제안 방법

• 각 컨볼루션 레이어를 그래프로 모델링하며, 필터를 노드로, 특징 맵의 코사인 유사도를 기반으로 한 간선 가중치를 사용한다.
• 구조적 부재성을 정량화하기 위해 두 가지 그래프 이론적 측정치인 ℓ-커버링 수와 몫 공간 크기를 사용한다.
• 전역 중요도 순위 기반 필터 선택 대신, 가장 높은 부재성 점수를 가진 레이어를 프루닝 대상으로 선정한다.
• 선택된 레이어의 필터는 단순한 크기 기반 기준을 사용하여 프루닝하며, 각 프루닝 단계 후에 다시 부재성 평가를 수행한다.
• 그래프 연결성과 레이어 부재성 추정에 영향을 주는 임계값 파라미터 γ로 제어된다.
• ResNet50와 AlexNet을 포함한 아키텍처에서 ImageNet과 CIFAR-10과 같은 표준 벤치마크를 사용해 평가된다.

Figure 1: Overall workflow of the proposed approach. The number below each graph refers to the measurement of redundancy, which are just used for the illustration purpose and do not reflect the real measurements of the graphs.

실험 결과

연구 질문

• RQ1 모든 레이어에서 가장 중요도가 낮은 필터를 프루닝하는 것보다, 가장 높은 구조적 부재성을 가진 레이어를 프루닝할 경우 성능 향상이 이루어지는가?
• RQ2 필터 중요도 점수에 의존하지 않고도, 그래프 기반의 구조적 부재성 메트릭이 프루닝에 적합한 레이어를 효과적으로 식별할 수 있는가?
• RQ3 예를 들어, 필터 수, 주성분 분석(PCA), 그래프 기반 등 다양한 부재성 측정 방법의 선택이 프루닝 성능과 정확도 유지에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 다양한 CNN 아키텍처에서 FLOP 감소와 정확도 유지 측면에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• 가장 높은 구조적 부재성을 가진 레이어에서 필터를 프루닝하는 것이 이론적으로나 실험적으로 모두, 모든 레이어에서 중요도가 낮은 필터를 프루닝하는 것보다 뛰어난 성능을 보인다.
• 제안된 그래프 기반의 부재성 측정(SRR-GR)은 최고의 성능을 달성하여 ResNet50에서 FLOPs를 44.1% 감소시키면서 ImageNet에서 상위 1위 정확도가 0.37% 뿐 감소한다.
• 간단한 부재성 메트릭인 필터 수(SRR-NOF)조차도 최근 최신 기술 수준(SOTA) 방법들과 비교해 유사한 성능을 보이며, 부재성 기반 프루닝의 核심 통찰을 검증한다.
• PCA 기반의 부재성 추정(SRR-PCA)을 사용할 경우 성능이 더욱 향상되어 FLOPs의 44%를 프루닝할 때 상위 1위 정확도 감소율이 0.94%, 상위 5위 정확도 감소율이 0.38%로 감소한다.
• 이 방법은 부적합성이 가장 높은 레이어에 동적으로 프루닝을 적응시키며, AlexNet의 초기 레이어와 같이 부적합성이 낮은 레이어에 대한 불필요한 프루닝을 방지한다.
• 하이퍼파rameter γ에 대해 강건하며, 최적의 성능은 γ = 0.034에서 달성되며, 이는 AlexNet에서 Layer 3를 가장 부적합한 레이어로 정확히 식별한다.