[論文レビュー] SEP-Nets: Small and Effective Pattern Networks

Zhe Li, Xiaoyu Wang+2 more|arXiv (Cornell University)|Jun 13, 2017

Advanced Neural Network Applications参考文献 6被引用数 14

ひとこと要約

本稿では、深層ネットワークを二値化する際、$k\times k$畳み込み（$k>1$）のみを二値パターンに変換し、特徴変換に使用する$1\times 1$畳み込みはフル精度を維持するという、小型で効率的なCNNアーキテクチャ「SEP-Nets」を提案する。この手法により、モデルサイズに比して最先端の精度を達成し、1.3MBのモデルでImageNetで63.5%のトップ1精度を達成。モバイルやエッジデバイス用途に最適な小型高精度モデルを実現した。

ABSTRACT

While going deeper has been witnessed to improve the performance of convolutional neural networks (CNN), going smaller for CNN has received increasing attention recently due to its attractiveness for mobile/embedded applications. It remains an active and important topic how to design a small network while retaining the performance of large and deep CNNs (e.g., Inception Nets, ResNets). Albeit there are already intensive studies on compressing the size of CNNs, the considerable drop of performance is still a key concern in many designs. This paper addresses this concern with several new contributions. First, we propose a simple yet powerful method for compressing the size of deep CNNs based on parameter binarization. The striking difference from most previous work on parameter binarization/quantization lies at different treatments of $1 imes 1$ convolutions and $k imes k$ convolutions ($k>1$), where we only binarize $k imes k$ convolutions into binary patterns. The resulting networks are referred to as pattern networks. By doing this, we show that previous deep CNNs such as GoogLeNet and Inception-type Nets can be compressed dramatically with marginal drop in performance. Second, in light of the different functionalities of $1 imes 1$ (data projection/transformation) and $k imes k$ convolutions (pattern extraction), we propose a new block structure codenamed the pattern residual block that adds transformed feature maps generated by $1 imes 1$ convolutions to the pattern feature maps generated by $k imes k$ convolutions, based on which we design a small network with $\sim 1$ million parameters. Combining with our parameter binarization, we achieve better performance on ImageNet than using similar sized networks including recently released Google MobileNets.

研究の動機と目的

• モバイルおよび組み込み用途向けに設計された小型CNNにおける性能低下を解消すること。
• 特にリソース制約の厳しいデバイスにおいて、精度を損なわずモデルサイズと計算コストを削減すること。
• $1\times 1$畳み込み（特徴変換）と$k\times k$畳み込み（パターン抽出）の機能的差異を解明し、ネットワーク圧縮の指針とする。
• 二値化されたパターン特徴と$1\times 1$畳み込みによる変換特徴を統合する新規なパターン残差ブロックを用いて、コンactで効率的なネットワークアーキテクチャを設計すること。
• 全ネットワークの量子化や二値化と比較して、選択的二値化（$k\times k$カーネルのみ）が、精度とコンactのトレードオフをより良く実現できることを示すこと。

提案手法

• 選択的二値化戦略を提案：$k>1$の$k\times k$畳み込みカーネルのみを二値パターンに変換し、$1\times 1$畳み込みはフル精度を維持する。
• パターン残差ブロックを導入。$1\times 1$畳み込みの出力（変換特徴）を、二値化された$k\times k$畳み込みの出力（パターン特徴）に加算することで、残差学習を模倣する。
• パターン残差ブロックをコアユニットとして用い、約100万パラメータの小型で軽量なネットワーク（SEP-Net）を設計する。
• 性能を維持したままモデルサイズをさらに削減するため、$1\times 1$フィルタに8ビット量子化を適用する。
• FPGA上でのハードウェア効率を活用し、二値化された$k\times k$畳み込みを論理ブロックに、$1\times 1$畳み込みをDSPユニットに割り当てる。
• ImageNetおよびCIFAR-10でモデルを訓練・評価し、SqueezeNetおよびMobileNetと性能とサイズを比較する。

実験結果

リサーチクエスチョン

• RQ1 全ネットワークの量子化と比較して、$k\times k$畳み込みのみを二値化する選択的二値化戦略が、モデルサイズを著しく削減しながら性能を維持できるか。
• RQ2 $1\times 1$畳み込み（変換）と$k\times k$畳み込み（パターン抽出）の役割を分離することで、ネットワークの効率性と精度がどのように向上するか。
• RQ3 二値化されたパターン特徴と変換特徴を統合する新規なパターン残差ブロックが、小型ネットワークにおいて標準的な残差ブロックを上回る性能を発揮できるか。
• RQ4 MobileNet や SqueezeNet といった最先端の小型モデルと比較して、SEP-Net などのコンactなネットワークの精度とサイズのトレードオフはいかほどか。
• RQ5 $1\times 1$フィルタに追加の8ビット量子化を適用することで、精度の著しい低下を伴わずにモデルサイズをどの程度さらに削減できるか。

主な発見

• 提案されたパターン二値化手法により、GoogLeNetのパラメータ数が$3\times 3$および$5\times 5$フィルタを二値化した場合に44.6%削減され、精度の低下は最小限に抑えられた。
• 1.3MBのSEP-NetモデルがImageNetで63.5%のトップ1精度を達成し、5.2MBのMobileNetと同等の性能を示したが、はるかに小型であった。
• 170万パラメータの大きなSEP-Netは、66.7%のトップ1精度を達成し、同程度のサイズのMobileNet（63.7%）を上回った。
• 130万パラメータのSEP-Net-Rは65.8%のトップ1精度を達成し、同サイズのSqueezeNet（60.4%）およびMobileNet（63.7%）を上回った。
• パターン残差ブロックにより、極めて圧縮された小型ネットワークでも効果的な特徴学習が可能となり、高い性能を実現した。
• この手法はハードウェアに優しく、二値化された$k\times k$畳み込みとフル精度の$1\times 1$畳み込みをFPGAの論理ブロックおよびDSPブロックに効率的にマッピングできる。