[논문 리뷰] Deep Model Compression via Filter Auto-sampling.

Daquan Zhou, Xiaojie Jin외 3명|arXiv (Cornell University)|2019. 07. 12.

Advanced Neural Network Applications참고 문헌 10인용 수 2

한 줄 요약

이 논문은 깊이 신경망 압축을 위한 기울기 가능하고 엔드 투 엔드로 동작하는 자동 샘플링 방법을 제안하며, 1D 및 2D CNN 모두에 대해 최적의 필터 샘플링 규칙을 학습함으로써 기존 수작업 기반 WSNet 방법에 비해 성능을 크게 향상시킵니다. 동일한 압축 비율에서 1D CNN에서는 6.5% 높은 정확도를 달성하고, FLOPs를 25% 줄임과 동시에 ImageNet 정확도에서 MobileNetV2를 1.47% 초월합니다.

ABSTRACT

The recent WSNet [1] is a new model compression method through sampling filterweights from a compact set and has demonstrated to be effective for 1D convolutionneural networks (CNNs). However, the weights sampling strategy of WSNet ishandcrafted and fixed which may severely limit the expression ability of the resultedCNNs and weaken its compression ability. In this work, we present a novel auto-sampling method that is applicable to both 1D and 2D CNNs with significantperformance improvement over WSNet. Specifically, our proposed auto-samplingmethod learns the sampling rules end-to-end instead of being independent of thenetwork architecture design. With such differentiable weight sampling rule learning,the sampling stride and channel selection from the compact set are optimized toachieve better trade-off between model compression rate and performance. Wedemonstrate that at the same compression ratio, our method outperforms WSNetby6.5% on 1D convolution. Moreover, on ImageNet, our method outperformsMobileNetV2 full model by1.47%in classification accuracy with25%FLOPsreduction. With the same backbone architecture as baseline models, our methodeven outperforms some neural architecture search (NAS) based methods such asAMC [2] and MNasNet [3].

연구 동기 및 목표

• 기존 모델 압축 방법들인 WSNet와 같이 고정된 수작업 기반 필터 샘플링의 한계를 극복하기 위해.
• 1D 및 2D CNN 모두에 대해 샘플링 규칙을 엔드 투 엔드로 학습시켜 모델 표현력과 압축 효율성을 향상시키기 위해.
• 최적의 샘플링 간격과 채널 선택을 통해 압축률과 성능 간의 더 나은 트레이드오프를 달성하기 위해.
• 비용이 많이 드는 탐색 과정 없이도 신경망 아키텍처 탐색(NAS) 방법들인 AMC 및 MnasNet과 동등하거나 이를 초월하는 성능을 달성하기 위해.
• ImageNet 및 1D CNN과 같은 표준 벤치마크에서 뛰어난 일반화 능력과 효율성을 입증하기 위해.

제안 방법

• 작은 필터 집합에서 샘플링 간격과 채널 선택을 동시에 최적화하는 기울기 가능 샘플링 규칙 학습 메커니즘을 제안합니다.
• 샘플링 결정이 기울기 가능하도록 설계된 엔드 투 엔드 학습 가능한 프레임워크를 도입하여 샘플링 연산을 통해 역전파가 가능하게 합니다.
• 사전 정의된 작은 필터 집합을 활용하고, 입력 특징과 네트워크 깊이에 따라 어떤 필터를 샘플링할지 학습합니다.
• 학습 중 기울기 흐름을 허용하는 기울기 가능 샘플링 연산을 사용하여, 네트워크 가중치와 샘플링 정책을 함께 최적화합니다.
• 1D 및 2D CNN 모두에 자동 샘플링 메커니즘을 적용하여 WSNet의 적용 범위를 1D 네트워크를 넘어서 확장합니다.
• 가장 효과적인 필터 조합을 학습함으로써 압축과 정확도의 균형을 이루는 샘플링 전략을 최적화합니다.

실험 결과

연구 질문

• RQ1 수작업 기반 샘플링 전략에 비해 엔드 투 엔드로 학습된 필터 샘플링 규칙이 모델 압축 성능을 향상시킬 수 있는가?
• RQ2 자동 샘플링은 1D 및 2D CNN에서 정확도를 유지하거나 향상시키면서 FLOPs를 얼마나 줄일 수 있는가?
• RQ3 AMC 및 MnasNet과 같은 최신 기술 기반 NAS 모델과 비교해 본다면, 제안된 방법은 정확도와 효율성 측면에서 어떤가?
• RQ4 자동 샘플링 메커니즘은 ImageNet 및 1D 벤치마크와 같은 다양한 네트워크 아키텍처와 데이터셋에 대해 일반화 가능한가?
• RQ5 동일한 압축 비율에서 WSNet에 비해 제안된 방법은 어떤 성능 향상을 보이는가?

주요 결과

• 동일한 압축 비율에서 제안된 방법은 WSNet 대비 1D CNN 정확도를 6.5% 향상시킵니다.
• ImageNet에서 제안된 방법은 FLOPs를 25% 줄였음에도 불구하고 MobileNetV2보다 top-1 정확도에서 1.47% 높습니다.
• 기본 모델들과 동일한 백본 아키텍처를 사용할 때, AMC 및 MnasNet과 같은 NAS 기반 모델들을 능가하는 성능을 보입니다.
• 엔드 투 엔드 기울기 가능 샘플링 규칙 학습은 샘플링 간격과 채널 선택의 더 나은 최적화를 가능하게 합니다.
• 이 방법은 1D 및 2D CNN 모두에 걸쳐 강력한 일반화 능력을 보이며, 필터 자동 샘플링의 적용 범위를 1D 네트워크를 넘어서 확장합니다.
• 성능 향상은 모델 표현력을 더 잘 유지하는 학습된 적응형 샘플링 전략 덕분입니다.