[논문 리뷰] REPrune: Filter Pruning via Representative Election

Min-Cheol Park, Woojeong Kim외 1명|arXiv (Cornell University)|2020. 07. 14.

Internet Traffic Analysis and Secure E-voting참고 문헌 39인용 수 4

한 줄 요약

REPrune는 필터의 노름 기반 기준에 의존하는 대신 군집화를 통해 대표성 있는 필터를 선택하는 새로운 필터 프루닝 방법을 제안한다. 이는 모델 압축과 정확도 복구를 향상시킨다. 응집형 군집화와 실루엣 계수를 사용해 정보가 풍부한 필터를 식별함으로써, CIFAR-10에서 ResNet-110에 대해 FLOPs를 49% 이상 감소시키고 정확도를 0.53% 향상시켰으며, ImageNet에서 ResNet-18에 대해 FLOPs를 41.8% 감소시키고 Top-1 손실을 1.67% 낮추었다.

ABSTRACT

Even though norm-based filter pruning methods are widely accepted, it is questionable whether the "smaller-norm-less-important" criterion is optimal in determining filters to prune. Especially when we can keep only a small fraction of the original filters, it is more crucial to choose the filters that can best represent the whole filters regardless of norm values. Our novel pruning method entitled "REPrune" addresses this problem by selecting representative filters via clustering. By selecting one filter from a cluster of similar filters and avoiding selecting adjacent large filters, REPrune can achieve a better compression rate with similar accuracy. Our method also recovers the accuracy more rapidly and requires a smaller shift of filters during fine-tuning. Empirically, REPrune reduces more than 49% FLOPs, with 0.53% accuracy gain on ResNet-110 for CIFAR-10. Also, REPrune reduces more than 41.8% FLOPs with 1.67% Top-1 validation loss on ResNet-18 for ImageNet.

연구 동기 및 목표

• 높은 프루닝 비율에서 작동할 경우 노름 기반 기준이 작은 노름이 덜 중요하다고 가정하는 데서 비롯하는 제한점을 해결한다.
• 각 레이어의 필터 분포를 가장 잘 대표하는 필터를 선택하여 모델 압축과 정확도 유지 향상.
• 원본 모델과 구조적 유사성을 유지하는 필터를 보존함으로써 피니터닝 중 필터 가중치의 이탈을 줄인다.
• 고품질의 대표 필터를 선택함으로써 피니터링 중 검증 정확도 수렴 속도를 빠르게 한다.
• 극도로 최적화된 모델, 예를 들어 ResNet에 대해 극한의 프루닝 조건에서도 효과를 입증한다.

제안 방법

• 각 합성곱 레이어 내에서 필터 간의 특성 유사도를 기반으로 응집형 군집화를 적용하여 필터를 그룹화한다.
• 군집 품질 평가 및 각 군집 내에서 가장 대표적인 필터 식별을 위해 실루엣 계수를 사용한다.
• 군집 중심에 가장 가까운 필터를 대표 필터로 선택함으로써 군집의 분포를 가장 잘 캡처한다.
• 각 군집 간 대표 필터 간의 다양성을 확보하여 인접한 큰 노름 필터를 선택하는 것을 방지한다.
• 레이어별 동적 프루닝을 수행하며, 계산 비용이 가장 높은 고수준 레이어에 더 많은 필터를 유지한다.
• 원본 필터와 프루닝된 필터 간 코사인 유사도가 높아 피니터닝 중 가중치 이탈이 최소화된 모델을 피니터닝한다.

실험 결과

연구 질문

• RQ1 극도의 프루닝 비율에서 분포 유사성 기반 필터 선택이 노름 기반 기준보다 우월한가?
• RQ2 군집화를 통한 대표 필터 선택이 노름 기반 방법보다 피니터링 중 정확도 복구 속도를 빠르게 하는가?
• RQ3 분포 인식 프루닝을 사용할 경우, 프리- 및 포스트-피니터링 필터 간 코사인 유사도는 어느 정도 유지되는가?
• RQ4 CIFAR-10 및 ImageNet과 같은 표준 벤치마크에서 REPrune는 FLOPs 감소와 정확도 유지 측면에서 어떻게 성능을 내는가?
• RQ5 REPrune는 공격적인 프루닝 조건에서도 ResNet과 같은 고도로 최적화된 아키텍처에서 모델 성능을 유지할 수 있는가?

주요 결과

• CIFAR-10에서 ResNet-110에 대해 REPrune는 FLOPs를 49% 이상 감소시키면서 원본 모델 대비 0.53% 정확도 향상을 달성했다.
• ImageNet에서 ResNet-18에 대해 REPrune는 FLOPs를 41.8% 감소시키고 기준 모델 대비 Top-1 검증 손실을 1.67% 낮췄다.
• REPrune를 사용한 프루닝된 모델는 노름 기반 방법보다 검증 정확도 복구 속도가 4배 빠르며, 10 에포크 만에 다른 방법이 40 에포크를 소요하는 성능에 도달했다.
• 프리- 및 포스트-피니터링 필터 간 코사인 유사도는 REPrune에서 평균 약 0.4~0.6 수준으로 높았고, SFP 및 FPGM는 -0.1에서 0.1 범위 내에서 70% 이상의 유사도를 보였다.
• REPrune는 레이어 전반에 걸쳐 파란 톤의 코사인 유사도 히트맵을 유지하여 필터 방향성 보존이 일관되게 이루어졌으며, 노름 기반 방법의 흰색/빨간색 패atters와는 대조된다.
• CIFAR-100에서 ResNet-56에 대해 REPrune는 파rameter를 83.3% 감소시켜도 2.6% 정확도 손실만을 겪고, 인퍼런스 속도를 최대 8.84배로 향상시켰다.