[論文レビュー] Memory Bounded Deep Convolutional Networks

Maxwell D. Collins, Pushmeet Kohli|arXiv (Cornell University)|Dec 3, 2014

Advanced Neural Network Applications参考文献 24被引用数 128

ひとこと要約

この論文では、畳み込み層および全結合層における疎結合性を促進することで、モデルサイズとメモリ使用量を削減するスパース性誘導正則化項を提案する。確率的勾配降下法を用いて、精度の損失を最小限に抑えつつ、最大で4倍のメモリ削減（例：AlexNetでは233 MBから58 MB）を達成し、リソース制約のあるデバイスへの効率的なデプロイメントを可能にするとともに、メモリ効率の良いアンサンブルの構築を可能にする。

ABSTRACT

In this work, we investigate the use of sparsity-inducing regularizers during training of Convolution Neural Networks (CNNs). These regularizers encourage that fewer connections in the convolution and fully connected layers take non-zero values and in effect result in sparse connectivity between hidden units in the deep network. This in turn reduces the memory and runtime cost involved in deploying the learned CNNs. We show that training with such regularization can still be performed using stochastic gradient descent implying that it can be used easily in existing codebases. Experimental evaluation of our approach on MNIST, CIFAR, and ImageNet datasets shows that our regularizers can result in dramatic reductions in memory requirements. For instance, when applied on AlexNet, our method can reduce the memory consumption by a factor of four with minimal loss in accuracy.

研究の動機と目的

• リソース制約のあるデバイス（例：モバイルプラットフォーム）に大規模な深層畳み込みニューラルネットワーク（CNN）をデプロイする際の高いメモリ使用量と実行時間のコストを低減すること。
• 畳み込み層および全結合層における疎結合性を促進することで、精度を損なわずにモデルの複雑さを低減すること。
• 固定メモリ予算内に収まるように、正確なアンサンブルの構築を可能にすること。
• 標準的な確率的勾配降下法のトレーニングパイプラインと互換性のある正則化手法を開発すること。
• MNIST、CIFAR-10、ImageNetの各データセットにおいて、モデルのスパarsity、メモリ使用量、分類精度のトレードオフを実証的に検証すること。

提案手法

• トレーニング中にスパース性誘導正則化項（特にℓ₀およびℓ₁ペナルティ）を適用し、非ゼロ重みの数を最小化するように促進する。
• 目標メモリ予算を満たす層ごとのスパースティ分布を決定するためのグリーディー探索戦略を用いる。
• 従来のディープラーニングフレームワークと互換性を持つように、確率的勾配降下法における重み更新を変更して正則化を実装する。
• 各層にℓ₀制約を適用し、望ましい非ゼロパラメータ数を強制することで、モデルサイズに対する正確な制御を可能にする。
• バギング（ブートストラップリサンプリング）を用いて、共有メモリ予算内に収まるように複数のスパースモデルをアンサンブルで学習する。
• ストレージフォーマット最適化（付録A）を用いて、スパarsityとデータ型に基づいて実際のメモリ使用量を推定する。

実験結果

リサーチクエスチョン

• RQ1 スパース性誘導正則化項は、顕著な精度損失なしに、トレーニング済みCNNのメモリフットプリントを著しく削減できるか？
• RQ2 メモリ効率と精度の観点から、従来の手法（重み減衰やネットワークプルーニングなど）と比較して、スパース性正則化はどのように異なるか？
• RQ3 固定メモリ予算内に収まるように、スパースモデルを効果的にアンサンブルに利用できるか？また、一般化性能の向上に寄与するか？
• RQ4 限られたトレーニングデータ下でスパarsityがモデル性能に与える影響、特に一般化性能の観点からどうなるか？
• RQ5 標準的なビジョンベンチマークにおいて、パラメータ数とメモリ使用量を削減しながらも、スパースモデルがどれほど高い精度を維持できるか？

主な発見

• ImageNetデータセットにおいて、提案手法によりメモリ使用量を233 MB（ベースライン）から58 MB（スパースモデル）に削減したが、トップ1精度はわずか1.7%低下（59.3%から55.60%）にとどまった。
• AlexNetでは、4倍のメモリ使用量削減（233 MBから58 MB）を達成しながらも、競争力のある精度を維持した。
• CIFAR-10では、固定パラメータ予算内に収まるようにスパースモデルのアンサンブルを学習した結果、単一の密度モデルよりも高い精度を達成した。3モデルのアンサンブルではトップ1精度が77.40%に達した。
• トレーニングデータ量が減少するにつれて、スパースモデルが密度モデルを上回った。これは、スパarsityが一般化性能を向上させる正則化効果を有していることを確認した。
• 本手法により、メモリ効率の良いアンサンブルが可能になった。例えば、143,540個の合計非ゼロパラメータを有する3モデルアンサンブルは77.40%の精度を達成した。これは、スパarsityのおかげで固定メモリ予算内により多くのモデルを収容できることを示している。
• ℓ₀制約によるスパース性正則化により、非ゼロパラメータ数を最大70%まで削減しながらも、高い性能を維持でき、特にデータが不足する状況下で顕著な効果を示した。