[논문 리뷰] SEP-Nets: Small and Effective Pattern Networks

Zhe Li, Xiaoyu Wang외 2명|arXiv (Cornell University)|2017. 06. 13.

Advanced Neural Network Applications참고 문헌 6인용 수 14

한 줄 요약

이 논문은 소형이고 효율적인 CNN 아키텍처인 SEP-Nets를 제안한다. 이는 깊은 네트워크를 압축하기 위해 $k\times k$ 컨볼루션($k>1$)만 이元화하여 이진 패턴으로 변환하면서도, 특징 변환을 위해 $1\times 1$ 컨볼루션은 정밀도를 유지한다. 이 방법은 크기 대비 최고의 정확도를 달성하여, 1.3MB 모델이 ImageNet에서 63.5%의 top-1 정확도를 기록하며, 유사한 크기의 MobileNet과 SqueezeNet을 능가한다.

ABSTRACT

While going deeper has been witnessed to improve the performance of convolutional neural networks (CNN), going smaller for CNN has received increasing attention recently due to its attractiveness for mobile/embedded applications. It remains an active and important topic how to design a small network while retaining the performance of large and deep CNNs (e.g., Inception Nets, ResNets). Albeit there are already intensive studies on compressing the size of CNNs, the considerable drop of performance is still a key concern in many designs. This paper addresses this concern with several new contributions. First, we propose a simple yet powerful method for compressing the size of deep CNNs based on parameter binarization. The striking difference from most previous work on parameter binarization/quantization lies at different treatments of $1 imes 1$ convolutions and $k imes k$ convolutions ($k>1$), where we only binarize $k imes k$ convolutions into binary patterns. The resulting networks are referred to as pattern networks. By doing this, we show that previous deep CNNs such as GoogLeNet and Inception-type Nets can be compressed dramatically with marginal drop in performance. Second, in light of the different functionalities of $1 imes 1$ (data projection/transformation) and $k imes k$ convolutions (pattern extraction), we propose a new block structure codenamed the pattern residual block that adds transformed feature maps generated by $1 imes 1$ convolutions to the pattern feature maps generated by $k imes k$ convolutions, based on which we design a small network with $\sim 1$ million parameters. Combining with our parameter binarization, we achieve better performance on ImageNet than using similar sized networks including recently released Google MobileNets.

연구 동기 및 목표

• 모바일 및 임베디드 응용을 위한 소형 CNN에서 성능 저하 문제를 해결한다.
• 정확도를 희생시키지 않고 모델 크기와 계산 비용을 줄이며, 특히 자원이 제한된 장치에 적합하다.
• $1\times 1$ 컨볼루션(특징 변환)과 $k\times k$ 컨볼루션(패턴 추출)의 功能적 차이를 탐색하여 네트워크 압축을 이끌어내는 데 기여한다.
• 이원화된 패턴 특징과 $1\times 1$ 컨볼루션으로부터 유도된 변환 특징을 융합하는 새로운 패턴 잔여 블록을 활용해 컴act하고 효율적인 네트워크 아키텍처를 설계한다.
• 전체 네트워크의 양자화 또는 이원화와는 달리, 오직 $k\times k$ 커널만 이원화하는 선택적 이원화가 정확도-콤팩트니스 트레이드오프를 더 우수하게 만든다.

제안 방법

• 선택적 이원화 전략을 제안: $k\times k$ 컨볼루션 커널($k>1$)만 이원화하여 이진 패턴으로 변환하고, $1\times 1$ 컨볼루션은 정밀도를 유지한다.
• 패턴 잔여 블록을 도입하여, $1\times 1$ 컨볼루션의 출력(변환된 특징)을 이원화된 $k\times k$ 컨볼루션의 출력(패턴 특징)에 더함으로써 잔여 학습을 모방한다.
• 패턴 잔여 블록을 핵심 구성 요소로 사용해 약 100만 개의 파라미터를 가진 소형 경량 네트워크(SEP-Net)를 설계한다.
• 성능 유지와 함께 모델 크기를 추가로 줄이기 위해 $1\times 1$ 필터에 8비트 양자화를 적용한다.
• FPGA에서 논리 블록에 이원화된 $k\times k$ 컨볼루션을 할당하고, $1\times 1$ 컨볼루션을 DSP 유닛에 할당하여 하드웨어 효율성을 극대화한다.
• ImageNet과 CIFAR-10에서 모델을 훈련 및 평가하여 SqueezeNet과 MobileNet과의 성능 및 크기 비교를 수행한다.

실험 결과

연구 질문

• RQ1 전체 네트워크 양자화와 비교해 볼 때, 오직 $k\times k$ 컨볼루션만 이원화하는 선택적 이원화 전략이 성능 저하 없이 모델 크기를 극적으로 줄일 수 있는가?
• RQ2 특징 변환 기능을 맡은 $1\times 1$ 컨볼루션과 패턴 추출 기능을 맡은 $k\times k$ 컨볼루션의 역할을 분리함으로써 네트워크의 효율성과 정확도는 어떻게 향상되는가?
• RQ3 이원화된 패턴 특징과 변환된 특징을 융합하는 새로운 패턴 잔여 블록이 소형 네트워크에서 표준 잔여 블록보다 뛰어난 성능을 낼 수 있는가?
• RQ4 MobileNet과 SqueezeNet과 같은 최신 소형 모델과 비교했을 때, SEP-Net과 같은 컴act 네트워크의 정확도와 크기 간 트레이드오프는 어떠한가?
• RQ5 $1\times 1$ 필터에 추가로 8비트 양자화를 적용하면 정확도 손실 없이 모델 크기를 얼마나 더 줄일 수 있는가?

주요 결과

• 제안된 패턴 이원화 방법은 GoogLeNet의 $3\times 3$ 및 $5\times 5$ 필터를 이원화함으로써 파라미터 수를 44.6% 감소시키며, 정확도 저하가 최소한이었다.
• 1.3MB 크기의 SEP-Net 모델은 ImageNet에서 63.5%의 top-1 정확도를 기록했으며, 이는 더 큰 5.2MB의 MobileNet과 유사한 성능을 내며 훨씬 더 작다.
• 170만 파라미터를 가진 더 큰 SEP-Net은 66.7%의 top-1 정확도를 기록했고, 유사한 크기의 MobileNet(63.7%)을 뛰어넘었다.
• 130만 파라미터를 가진 SEP-Net-R는 65.8%의 top-1 정확도를 기록해, 유사한 크기의 SqueezeNet(60.4%)과 MobileNet(63.7%)을 모두 앞서갔다.
• 패턴 잔여 블록은 압축이 매우 강한 소형 네트워크에서도 효과적인 특징 학습을 가능하게 하여 높은 성능을 달성한다.
• 이 방법은 하드웨어 우수성도 확보하여, 이원화된 $k\times k$ 컨볼루션과 정밀도 유지된 $1\times 1$ 컨볼루션을 FPGA의 논리 블록과 DSP 블록에 효율적으로 매핑할 수 있다.