[논문 리뷰] WSNet: Compact and Efficient Networks Through Weight Sampling

Xiaojie Jin, Shuicheng Yan외 5명|arXiv (Cornell University)|2017. 11. 28.

Music and Audio Processing참고 문헌 41인용 수 3

한 줄 요약

WSNet는 압축된 파rameter의 소수의 필터에서 샘플링함으로써 컴act하고 효율적인 딥 네ural 네트워크를 학습하는 새로운 웨이트 샘플링 아키텍처를 제안한다. 이는 모델 압축과 계산량 감소에 기여하며, 음성 분류 작업에서 정확도 손실이 거의 없이 최대 180배의 모델 크기 감소와 최대 16배의 빠른 추론을 달성한다. 기존 최고 수준의 기준들보다 뛰어난 성능을 보인다.

ABSTRACT

We present a new approach and a novel architecture, termed WSNet, for learning compact and efficient deep neural networks. Existing approaches conventionally learn full model parameters independently and then compress them via ad hoc processing such as model pruning or filter factorization. Alternatively, WSNet proposes learning model parameters by sampling from a compact set of learnable parameters, which naturally enforces {parameter sharing} throughout the learning process. We demonstrate that such a novel weight sampling approach (and induced WSNet) promotes both weights and computation sharing favorably. By employing this method, we can more efficiently learn much smaller networks with competitive performance compared to baseline networks with equal numbers of convolution filters. Specifically, we consider learning compact and efficient 1D convolutional neural networks for audio classification. Extensive experiments on multiple audio classification datasets verify the effectiveness of WSNet. Combined with weight quantization, the resulted models are up to 180 times smaller and theoretically up to 16 times faster than the well-established baselines, without noticeable performance drop.

연구 동기 및 목표

• 자원이 제한된 환경에서 딥 네럴 네트워크의 높은 모델 크기와 계산 비용 문제를 해결하기 위해.
• 기존의 모델 압축 기법들이 웨이트를 독립적으로 다루며 구조적 상관관계를 忽略하는 한계를 극복하기 위해.
• 압축을 훈련 후에 적용하는 것이 아니라, 처음부터 파라미터 공유를 강제하는 통합된 훈련 전략을 개발하기 위해.
• 음성 및 시각 작업을 위한 소형 고성능 1D 및 2D 컨볼루션 네트워크의 효율적 학습을 가능하게 하기 위해.
• 샘플드 필터 아키텍처에서 정적 영상 기반 계산 가속 기법이 훈련과 추론 모두에 효과적으로 작용하는지 검증하기 위해.

제안 방법

• WSNet는 표준 필터보다 훨씬 작아서 압축된 필터의 집합을 사용하여 컨볼루션 레이어를 파arameter화한다.
• 네트워크 내 실제 필터는 공간적 및 채널 방향 샘플링을 통해 압축된 필터에서 샘플링되며, 이는 훈련 초반부터 파라미터 공유를 강제한다.
• 겹치는 샘플드 필터를 사용하여 부족함을 활용하고, 정적 영상 기반 가속 기법을 통해 효율적인 계산을 가능하게 한다.
• 정적 영상 기법은 겹치는 필터 응답을 효율적으로 계산함으로써 계산 비용을 줄이며, 중복 연산을 최소화한다.
• 웨이트 양자화는 웨이트 샘플링과 함께 적용되어 정확도 손실 없이 모델 크기를 추가로 압축한다.
• 동일한 샘플링 및 정적 영상 원리를 사용하여 2D CNNs로 아키텍처를 확장함으로써 1D 작업을 넘어선 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 딥 러닝 아키텍처를 처음부터 훈련 중에 파라미터 공유를 강제하도록 설계할 수 있는가?
• RQ2 작은 필터 집합에서의 웨이트 샘플링이 기존 기법들(예: 프루닝, 양자화, 인수분해)보다 뛰어난 모델 압축과 속도 향상을 달성할 수 있는가?
• RQ3 겹치는 샘플드 필터의 사용이 소형 네트워크에서 높은 효율성과 강력한 학습 능력을 동시에 가능하게 하는가?
• RQ4 정적 영상 기법이 샘플드 필터 아키텍처에서 훈련과 추론 모두에 효과적으로 가속을 제공하는가?
• RQ5 음성 및 시각 벤치마크에서 WSNet은 정확도, 모델 크기, 추론 속도 측면에서 최고 수준의 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• ESC-50 데이터셋에서 WSNet는 0.52M 파라미터의 모델 크기로 66.5%의 정확도를 달성했으며, 이는 기준 모델 대비 100배의 감소를 의미한다.
• 추가로 웨이트 양자화를 적용한 결과, WSNet는 모델 크기를 0.07M 파라미터(기준 대비 180배 감소)로 줄였고, 정확도는 65.8%를 유지했다.
• UrbanSound8K 및 DCASE 데이터셋에서 WSNet는 기준 모델과 유사하거나 높은 정확도를 달성하면서 모델 크기를 최대 100배까지 줄였다.
• CIFAR-10 및 MNIST에서 WSNet는 동일한 압축 비율에서 HashNet보다 낮은 오차율을 기록하여, 동일한 압축 조건에서도 뛰어난 성능을 입증했다.
• ResNet50에 적용했을 때, WSNet는 모델 크기를 9배 줄였으며(0.85M에서 0.094M로), 상위-1 정확도 손실은 0.5%에 불과했다.
• 정적 영상 기반 계산 방법 덕분에 겹치는 필터 연산에서의 중복 계산을 줄여 최대 16배의 빠른 추론을 가능하게 했다.