[論文レビュー] Training CNNs with Low-Rank Filters for Efficient Image Classification

Yani Ioannou, Duncan Robertson+3 more|arXiv (Cornell University)|Nov 20, 2015

Advanced Neural Network Applications参考文献 17被引用数 40

ひとこと要約

本論文は、低ランクで合成可能な畳み込みフィルタ（具体的には、水平方向（1×k）および垂直方向（k×1）のフィルタを基本関数として組み合わせる）を用いて、CNNをスクラッチから訓練する手法を提案する。これにより、計算量とパラメータ数の両面で顕著な効率化が実現される。混合形状のフィルタ群に特化した新しい重み初期化スキームを導入することで、CIFAR-10、ILSVRC、MIT Placesのデータセット上で、標準的なCNNと同等またはそれ以上の精度を達成しながら、パラメータ数を最大55%、計算量を46%削減した。

ABSTRACT

We propose a new method for creating computationally efficient convolutional neural networks (CNNs) by using low-rank representations of convolutional filters. Rather than approximating filters in previously-trained networks with more efficient versions, we learn a set of small basis filters from scratch; during training, the network learns to combine these basis filters into more complex filters that are discriminative for image classification. To train such networks, a novel weight initialization scheme is used. This allows effective initialization of connection weights in convolutional layers composed of groups of differently-shaped filters. We validate our approach by applying it to several existing CNN architectures and training these networks from scratch using the CIFAR, ILSVRC and MIT Places datasets. Our results show similar or higher accuracy than conventional CNNs with much less compute. Applying our method to an improved version of VGG-11 network using global max-pooling, we achieve comparable validation accuracy using 41% less compute and only 24% of the original VGG-11 model parameters; another variant of our method gives a 1 percentage point increase in accuracy over our improved VGG-11 model, giving a top-5 center-crop validation accuracy of 89.7% while reducing computation by 16% relative to the original VGG-11 model. Applying our method to the GoogLeNet architecture for ILSVRC, we achieved comparable accuracy with 26% less compute and 41% fewer model parameters. Applying our method to a near state-of-the-art network for CIFAR, we achieved comparable accuracy with 46% less compute and 55% fewer parameters.

研究の動機と目的

• 低パワーデバイスへの展開を考慮した、最先端CNNの計算コストとモデルサイズの増大に対処する。
• 分類精度を損なわず、畳み込み層の計算複雑度を低減する。
• 事前学習済みモデルを近似するのではなく、スクラッチから低ランクフィルタを学習することで、効率性と一般化性能が向上するかを検証する。
• 異なる形状のフィルタ（例：1×k、k×1、k×k）を組み合わせた複合畳み込み層に特化した、新しい重み初期化手法を開発する。

提案手法

• k×kカーネルの代わりに、小さな低ランクの基本フィルタ（例：1×kおよびk×1）の線形結合として畳み込みフィルタを表現する。
• 混合形状のフィルタ群に特化した構造的差異を考慮した、新しい重み初期化スキームを用いて、ネットワークをスクラッチから訓練する。
• 長方形および正方形のフィルタからなる基本空間を用いることで、複雑な空間パターンを効率的かつ学習可能な形で表現可能にする。
• VGG-11、GoogLeNet、Network-in-Networkなどの既存アーキテクチャに、重要な層で標準的なフィルタを低ランク版に置き換えることで、本手法を適用する。
• 基本分解によるフィルタの複雑度制限を通じて、推論効率と一般化性能の両方を最適化する。
• グローバルマックスプーリングとアーキテクチャの変更を適用することで、さらにモデルサイズと計算量を削減する。

実験結果

リサーチクエスチョン

• RQ1 スクラッチから低ランクで合成可能なフィルタを用いてCNNを訓練することで、顕著に計算コストを削減しつつ、標準CNNと同等またはそれ以上の精度を達成できるか？
• RQ2 事前学習済みモデルを近似するのではなく、スクラッチから基本フィルタを学習することで、一般化性能と効率性が向上するか？
• RQ3 異種のフィルタ形状（例：1×k、k×1）を同じ層に組み合わせたネットワークの学習において、提案された重み初期化スキームはどの程度有効か？
• RQ4 1×kおよびk×1などの低ランクフィルタ分解は、画像分類タスクにおいて、完全なk×kフィルタの識別的パターンをどの程度正確に表現できるか？
• RQ5 本手法は、CIFAR-10、ILSVRC、MIT Placesといった多様なデータセットおよびVGG、GoogLeNet、NiNといった多様なアーキテクチャに一般化可能であり、一貫した効率性の向上をもたらすか？

主な発見

• グローバルマックスプーリングを導入した改良版VGG-11に本手法を適用したところ、89.7%のトップ5センタークロップ精度を達成。これは元のVGG-11と同等またはそれを上回り、計算量を41%削減、モデルパラメータ数を76%削減した。
• 本手法の変種は、改良版VGG-11を1%上回る精度（89.7%のトップ5精度）を達成し、計算量を16%削減した。
• GoogLeNetに適用した低ランク版は、ILSVRCで同等の精度（88.0%のトップ5精度）を達成しながら、計算量を26%削減、パラメータ数を41%削減した。
• 近い最先端のCIFAR-10モデル（NiN）に対して、低ランク版は91.8%の精度を達成し、計算量を46%削減、パラメータ数を55%削減した。
• 他の手法に比べ、本手法は効率性において優れており、計算量の1桁の削減の範囲内で同等の精度を達成するネットワークは存在しなかった。
• 提案された重み初期化スキームは、混合形状のフィルタ群を含むネットワークの成功した学習に不可欠であり、安定した収束を可能にした。