[論文レビュー] ChannelNets: Compact and Efficient Convolutional Neural Networks via Channel-Wise Convolutions

Hongyang Gao, Zhengyang Wang+1 more|arXiv (Cornell University)|Sep 5, 2018

Advanced Neural Network Applications被引用数 32

ひとこと要約

ChannelNets は、密な特徴マップ間接続を疎で構造的な接続に置き換えることで、深層畳み込みニューラルネットワーク（CNN）の圧縮を実現するチャネル単位の畳み込みを導入する。グループチャネル単位畳み込み、深さ方向に分離されたチャネル単位畳み込み、および新規の畳み込み分類層を採用することで、ChannelNets は最先端の効率性と精度のトレードオフを達成し、パラメータ数と FLOPs を削減しながら、ImageNet における精度を維持または向上させる。特に、完全結合分類層の圧縮を初めて実現した点が顕著である。

ABSTRACT

Convolutional neural networks (CNNs) have shown great capability of solving various artificial intelligence tasks. However, the increasing model size has raised challenges in employing them in resource-limited applications. In this work, we propose to compress deep models by using channel-wise convolutions, which re- place dense connections among feature maps with sparse ones in CNNs. Based on this novel operation, we build light-weight CNNs known as ChannelNets. Channel- Nets use three instances of channel-wise convolutions; namely group channel-wise convolutions, depth-wise separable channel-wise convolutions, and the convolu- tional classification layer. Compared to prior CNNs designed for mobile devices, ChannelNets achieve a significant reduction in terms of the number of parameters and computational cost without loss in accuracy. Notably, our work represents the first attempt to compress the fully-connected classification layer, which usually accounts for about 25% of total parameters in compact CNNs. Experimental results on the ImageNet dataset demonstrate that ChannelNets achieve consistently better performance compared to prior methods.

研究の動機と目的

• モバイルやエッジデバイスなどのリソース制限のある環境における、深層 CNN のモデルサイズの拡大と計算コストの増大に対処すること。
• 特に、コンパクトモデルにおける約 25% のパラメータを占める完全結合分類層に焦点を当て、精度を損なわずにパラメータ数と FLOPs を削減すること。
• 従来の特徴マップ間の密な接続に代わる、新しい疎でチャネルに特化した接続パターンを用いた、軽量 CNN の新アーキテクチャ「ChannelNets」の開発。
• 特に最終分類層における特徴マップ接続のスパarsity が、構造的な畳み込み演算によって効果的に活用可能であることを示すこと。

提案手法

• 密な特徴マップ間接続を疎でチャネル特化型の接続に置き換えるチャネル単位畳み込みを提案し、パラメータ数と FLOPs を削減する。
• グループ特徴マップを共有で疎な重みを用いて統合する情報統合層としてのグループチャネル単位畳み込みを導入する。
• 従来の 1×1 畳み込みをチャネル単位畳み込みに置き換えることで、深さ方向に分離されたチャネル単位畳み込みを設計し、計算量を削減しながら表現能力を維持する。
• 空間畳み込みを特徴マップ上で行うことで完全結合層を置き換える畳み込み分類層を開発し、パラメータ効率的で疎な予測を可能にし、1 クラスあたり (m−n+1) 個の有効特徴のみを必要とする。
• グループチャネル単位畳み込みと深さ方向に分離されたチャネル単位畳み込みを初期および中間ブロックで、最終層では畳み込み分類層を用いることで、統合されたアーキテクチャ「ChannelNets」を構築する。
• 事前学習モデルの微調整を避けて、標準的な学習プロトコルに従い、スクラッチから ChannelNets を訓練することで、エンドツーエンドの効率性とコンパクト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 密な特徴マップ間接続を疎でチャネル特化型の接続に置き換えることで、精度を損なわずにモデルサイズと計算コストを顕著に削減できるか？
• RQ2 通常、コンパクトな CNN における第2位のパラメータ源を占める完全結合分類層を、構造的な畳み込み層で圧縮することは可能で効果的か？
• RQ3 グループチャネル単位畳み込みは、標準的なグループ畳み込みと比較して、精度とパラメータ効率の面で優れているか？
• RQ4 深さ方向に分離されたチャネル単位畳み込みは、標準的な深さ方向に分離された畳み込みと比較して、精度と FLOP 効率の面で優れているか？
• RQ5 完全結合層の重み行列に内在するスパarsity は、畳み込み分類層の設計を支援するのにどの程度有効か？

主な発見

• ChannelNet-v2 は、約 230 万パラメータの 0.75x MobileNet と同等のパラメータ数を有しながらも、トップ-1 精度が 1.1% 高く、深さ方向に分離されたチャネル単位畳み込みの有効性を示している。
• ChannelNet-v3 は、約 110 万パラメータの 0.5x MobileNet と同等のパラメータ数を有しながらも、トップ-1 精度が 3% 高く、優れた圧縮効率と精度保持性を示している。
• グループチャネル単位畳み込みを用いた ChannelNet-v1 は、それらを含まないバージョンよりもトップ-1 精度が 0.8% 高く、たった 32 個の追加パラメータで実現されており、本手法の効率性と有効性を裏付けている。
• ChannelNet-v1 の完全結合分類層の重み行列は疎に分布しており、提案された畳み込み分類層の設計根拠を検証している。
• ChannelNet-v1 に幅スケーリングを適用すると性能が著しく低下するため、提案されたチャネル単位畳み込み部品は、モデル圧縮において幅スケーリングよりも優れていることが示唆される。
• 提案された畳み込み分類層により、従来のモデル圧縮で無視されがちな完全結合層が効果的に圧縮された。これにより、ChannelNets は、完全結合層の圧縮を初めて実現したコンパクトな CNN ファミリーとなった。