[논문 리뷰] Neural Epitome Search for Architecture-Agnostic Network Compression

Daquan Zhou, Xiaojie Jin외 4명|arXiv (Cornell University)|2019. 07. 12.

Advanced Neural Network Applications참고 문헌 39인용 수 6

한 줄 요약

이 논문은 네트워크 아키텍처와 파라미터를 분리하여 아키텍처에 종속되지 않는 네트워크 압축 방법인 신경 엡시토프 미니멀러(NEural Epitome Search, NES)를 제안한다. 이 방법은 임의의 작업에 적합한 가중치 텐서를 생성하기 위해 압축된 표현력 있는 엡시토프와 미분 가능한 변환 함수를 학습한다. NES는 350M MAdd 이하에서 ImageNet에서 77.5%의 top-1 정확도를 달성하여, MobileNetV2와 EfficientNet-B0보다 더 낮은 계산 비용으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The recent WSNet [1] is a new model compression method through sampling filterweights from a compact set and has demonstrated to be effective for 1D convolutionneural networks (CNNs). However, the weights sampling strategy of WSNet ishandcrafted and fixed which may severely limit the expression ability of the resultedCNNs and weaken its compression ability. In this work, we present a novel auto-sampling method that is applicable to both 1D and 2D CNNs with significantperformance improvement over WSNet. Specifically, our proposed auto-samplingmethod learns the sampling rules end-to-end instead of being independent of thenetwork architecture design. With such differentiable weight sampling rule learning,the sampling stride and channel selection from the compact set are optimized toachieve better trade-off between model compression rate and performance. Wedemonstrate that at the same compression ratio, our method outperforms WSNetby6.5% on 1D convolution. Moreover, on ImageNet, our method outperformsMobileNetV2 full model by1.47%in classification accuracy with25%FLOPsreduction. With the same backbone architecture as baseline models, our methodeven outperforms some neural architecture search (NAS) based methods such asAMC [2] and MNasNet [3].

연구 동기 및 목표

• 모델 파라미터를 아키텍처 설계에 직접 연결함으로써 발생하는 성능 저하 문제를 해결하기 위해.
• 네트워크 아키텍처에 종속되지 않은 유연하고 종단 간 학습이 가능한 압축된 표현력 있는 파라미터 표현을 가능하게 하기 위해.
• 가중치 텐서의 형태를 아키텍처 제약에서 분리함으로써 모델 압축 효율성을 향상시키기 위해.
• 특히 모바일 배포를 위한 엄격한 모델 크기 및 계산 제약 조건 하에서도 높은 성능을 달성하기 위해.
• 특수 하드웨어가 필요 없는 표준 딥러닝 프레임워크와 호환되는 즉시 사용 가능한 압축 솔루션을 제공하기 위해.

제안 방법

• 소형 엡시토프에서 전체 크기의 컨볼루션 커널 가중치로 매핑하는 학습 가능한 변환 함수를 도입하여 아키텍처에 종속되지 않는 파라미터 생성을 가능하게 한다.
• 백프로파게이션를 통한 종단 간 학습이 가능하도록, 엡시토프와 변환 함수를 함께 학습할 수 있도록 유연한 변환 메커니즘을 적용한다.
• 엡시토프 요소와 확장된 커널 파라미터 간의 색인 매핑을 기록하기 위해 라우팅 맵을 설계하여 추론 시 계산 재사용을 가능하게 한다.
• 대상 네트워크 아키텍처에 종속되지 않은 압축된 공유 파라미터 세트(엡시토프)를 사용하여 다양한 모델 크기 제어가 가능하다.
• 각 레이어마다 적응적으로 변환 함수를 적용하여 고압축 비율에서도 높은 표현 능력을 확보한다.
• 표준 컨볼루션 레이어의 즉시 교체 가능한 형태로 전체 과정을 래핑하여, 프레임워크 전용 수정 없이도 적용할 수 있다.

실험 결과

연구 질문

• RQ1 네트워크 파라미터를 아키텍처 설계에서 효과적으로 분리하여 별도의 최적화가 가능한가?
• RQ2 학습 가능한 변환 함수가 압축된 엡시토프에서 높은 표현 능력을 지닌 작업에 특화된 가중치 텐서를 생성하면서도, 유연성과 미분 가능성을 유지할 수 있는가?
• RQ3 엡시토프 학습을 통한 아키텍처에 종속되지 않는 압축 기법이 기존 방법에 비해 더 나은 정확도-압축 비율 트레이드오프를 달성할 수 있는가?
• RQ4 동일한 하드웨어 및 모델 크기 제약 조건 하에서, NAS 기반 및 오토ML 압축 기법에 비해 성능이 뛰어나게 되는가?
• RQ5 라우팅 맵을 통해 추론 시 파라미터 재사용을 통해 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• MobileNetV2를 백본으로 사용한 ImageNet에서 NES는 전체 모델 기준 대비 25% 감소한 MAdd를 기록하면서 top-1 정확도를 1.47% 향상시켰다.
• 동일한 압축 비율에서 NES는 AutoML for Model Compression(AMC)의 top-1 정확도를 2.5% 향상시켜 동일 조건 하에서도 뛰어난 성능을 입증했다.
• EfficientNet-B0를 기준으로 사용했을 때 NES는 10% 더 적은 MAdd로 1.2% 높은 top-1 정확도를 달성하여, 350M MAdd 이하의 모바일 환경에서 새로운 SOTA를 수립했다.
• CIFAR-10에서 NES는 0.39M 파라미터와 26.8M MAdd로 93.22%의 top-1 정확도를 기록했으며, NAS 기반의 AUTO-SLIM보다 1.22% 높은 성능을 내며 MAdd는 3.5배 감소시켰다.
• 고압축 비율(예: 3배)에서도 NES는 기준 MobileNetV2가 심각한 정확도 저하를 보이는 상황에서 3.78%의 성능 향상을 유지했다.
• 모바일 제약 조건(<350M MAdd) 하에서 ImageNet에서 NES는 77.5%의 top-1 정확도로 기존의 모든 모델, 특히 EfficientNet-B0와 NAS 기반 접근법을 뛰어넘는 새로운 SOTA 기록을 수립했다.