[論文レビュー] CondenseNet: An Efficient DenseNet using Learned Group Convolutions

Gao Huang, Shichen Liu+2 more|arXiv (Cornell University)|Nov 25, 2017

Advanced Neural Network Applications参考文献 44被引用数 95

ひとこと要約

CondenseNetは学習済みグループ畳み込みを導入し、DenseNetの冗長な接続を剪定することで、推論を高速化する通常のグループ畳み込みを可能にし、FLOPsとパラメータを大幅に削減しながら精度を維持します。

ABSTRACT

Deep neural networks are increasingly used on mobile devices, where computational resources are limited. In this paper we develop CondenseNet, a novel network architecture with unprecedented efficiency. It combines dense connectivity with a novel module called learned group convolution. The dense connectivity facilitates feature re-use in the network, whereas learned group convolutions remove connections between layers for which this feature re-use is superfluous. At test time, our model can be implemented using standard group convolutions, allowing for efficient computation in practice. Our experiments show that CondenseNets are far more efficient than state-of-the-art compact convolutional networks such as MobileNets and ShuffleNets.

研究の動機と目的

• 各レイヤにとって必須な入力特徴を学習することでDenseNet内の特徴再利用を促進しつつ、計算コストを削減する。
• トレーニング中に自動的にグループレベルのスパース性を誘発する剪定メカニズムを開発し、推論時に効率的なグループ畳み込みを可能にする。
• IGR成長率の指数的増加やブロック間の完全な密結合といったアーキテクチャレベルの変更を調査し、精度を損なうことなく効率をさらに向上させる。
• CIFAR-10/100およびImageNetで、CondenseNetをモバイルおよびサーバー志向のコンパクトCNNと比較評価する。
• 推論を効率化する標準のグループ畳み込みに依存するエンドツーエンドの訓練・デプロイパイプラインを提供する。

提案手法

• トレーニング中に入力特徴のグルーピングを学習しつつ、1x1フィルタの出力をGグループに分割して学習済みグループ畳み込み（LGC）を導入する。
• 各グループ内で同じスパースパターンを促進するグループラッソ正則化を用いて、凝縮係数Cを用いた凝縮プロセスで順次1x1フィルタの重みを剪定する。
• 訓練中にマスキング機構で剪定された重みを置換して、疎な行列演算を回避しGPUの効率を維持する。
• 訓練後、スパース化された層をインデックス層を介して特徴を並べ替え、効率的なデプロイメントのための通常のグループ畳み込みに変換する。
• 任意でアーキテクチャの微調整を採用：指数的に増加する成長率（IGR）とブロック間の完全な密結合を導入して特徴再利用と効率を高める。
• コサイン学習率スケジュールと標準的なDenseNet風ブロックを、学習済みグループ畳み込みに適応させて訓練する。

実験結果

リサーチクエスチョン

• RQ1 DenseNetsと比較して精度を損なうことなく、学習済みグループ畳み込みはどのように冗長な層の接続を剪定できるか？
• RQ2 CIFAR-10/100とImageNetで、密結合を学習済みグループ畳み込みに置換したときのFLOPsとパラメータの効率向上はどの程度か？
• RQ3 IGR成長や全密結合などのアーキテクチャ変更は、データセット全体で性能と効率を向上させるか？
• RQ4 ImageNetで同等の精度を保ちながらCondenseNetはMobileNetsやShuffleNetsの効率に匹敵するか、あるいは上回るか？
• RQ5 学習済み剪定戦略は、異なるトレーニング実行間で安定した接続パターンを維持するか？

主な発見

Model	Params	FLOPs	C-10	C-100
ResNet-1001	16.1M	2,357M	4.62	22.71
Stochastic-Depth-1202	19.4M	2,840M	4.91	-
Wide-ResNet-28	36.5M	5,248M	4.00	19.25
ResNeXt-29	68.1M	10,704M	3.58	17.31
DenseNet-190	25.6M	9,388M	3.46	17.18
NASNet-A	3.3M	-	3.41	-
condense light -160	3.1M	1,084M	3.46	17.55
condense -182	4.2M	513M	3.76	18.47

• CondenseNetは類似の精度でDenseNetsよりかなり少ないFLOPsを達成する。例えば275M FLOPsのCondenseNetはImageNetで約29%のtop-1エラーを達成し、ほぼ倍の計算量のMobileNetと同程度である。
• CIFAR-10/100では、CondenseNetの派生形は、Denseネットワークおよび剪定ベースのベースラインと比較して、約8倍のパラメータとFLOPsを削減して同等の精度に達する。
• 学習済みグループ畳み込みは従来のDenseNet様のアーキテクチャより著しく効率を改善し、同程度の精度でいくつかの最先端コンパクトCNNを上回る。
• CondenseNetのライト版（condense-light）は、CIFAR-10でNASNet-Aと同等の精度を達成しつつ、はるかに少ないパラメータとFLOPsを使用する。
• ARM上の推論時間は、274M FLOPsのCondenseNet (G=C=8) が同等の精度でMobileNetより約2倍速く、529M FLOPsでは競合的なtop-1精度を達成する。
• アブレーション研究は、より高いグループ数Gと凝縮因子>1が効率と精度を向上させ、複数回の実行で安定したグローバルな接続パターンを示すことを示している。