[論文レビュー] Alternating Direction Method of Multipliers for Sparse Convolutional Neural Networks

Farkhondeh Kiaee, Christian Gagné+1 more|arXiv (Cornell University)|Nov 5, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用数 13

ひとこと要約

本稿では、スパース性を促進する罰則項を含む結合損失関数を最小化することで、事前学習済み畳み込みニューラルネットワークをスパース化するADMMベースの手法を提案する。スパース性と認識性能を交互に最適化することで、CIFAR-10、CIFAR-100、SVHNベンチマークにおいて精度を維持または向上させつつ、パラメータを最大50%まで削減する顕著なモデル圧縮を実現する。

ABSTRACT

The storage and computation requirements of Convolutional Neural Networks (CNNs) can be prohibitive for exploiting these models over low-power or embedded devices. This paper reduces the computational complexity of the CNNs by minimizing an objective function, including the recognition loss that is augmented with a sparsity-promoting penalty term. The sparsity structure of the network is identified using the Alternating Direction Method of Multipliers (ADMM), which is widely used in large optimization problems. This method alternates between promoting the sparsity of the network and optimizing the recognition performance, which allows us to exploit the two-part structure of the corresponding objective functions. In particular, we take advantage of the separability of the sparsity-inducing penalty functions to decompose the minimization problem into sub-problems that can be solved sequentially. Applying our method to a variety of state-of-the-art CNN models, our proposed method is able to simplify the original model, generating models with less computation and fewer parameters, while maintaining and often improving generalization performance. Accomplishments on a variety of models strongly verify that our proposed ADMM-based method can be a very useful tool for simplifying and improving deep CNNs.

研究の動機と目的

• 低パワーや組み込みデバイスへのデプロイを想定した、深層CNNの計算コストとメモリコストを低減すること。
• l0ノルムのような微分不能なスパースネス罰則を効果的に扱えない既存の構造的スパースネス手法の限界を克服すること。
• 事前学習済みネットワークの畳み込み層および全結合層に対して、効率的で反復的なスパース化を可能にすること。
• スパースネス促進と認識性能最適化を、分離可能で解析的に解ける枠組みで組み合わせること。
• 高い正則化レベルでも再訓練から始めることなく、柔軟で段階的なスパースネスアプローチを提供すること。

提案手法

• 認識損失とスパースネス誘導罰則項を組み合わせた拡張ラグランジュ関数の最適化として、ネットワークスパースネス化問題を定式化する。
• 交替方向乗数法（ADMM）を用いて、問題を2つの部分問題に分解する：1つはスパースネス促進、もう1つは性能最適化。
• l1やl0ノルムなどのスパースネス罰則の分離性を活用し、ADMMの各反復でスパースネス部分問題を解析的に解く。
• 反復的重み付けと正則化の段階的増加を用いて、ネットワーク重みをスパース構造へ徐々に駆り、精度を維持する。
• 畳み込み層および全結合層の両方へ適用可能であり、特にパラメータが重い全結合層を含むモデル全体の圧縮を可能にする。
• 性能部分問題には微分可能最適化（例：SGD）を用い、スパースネス項に微分不能な罰則（例：l0ノルム）を組み込むことが可能である。

実験結果

リサーチクエスチョン

• RQ1 ADMMは、一般化性能を維持または向上させつつ、事前学習済みCNNに構造的スパースネスを効果的に導入できるか？
• RQ2 本稿で提案するADMMベースの手法は、既存の構造的スパースネス学習（SSL）手法と比較して、柔軟性および計算効率の面で優れているか？
• RQ3 この手法を用いることで、分類精度を劣化させることなく、モデルサイズと計算量をどの程度まで削減できるか？
• RQ4 l0ノルムのような微分不能なスパースネス罰則を、ADMMを用いた最適化枠組みに効果的に組み込むことができるか？
• RQ5 正則化パラメータを段階的に増加させることで、最終モデルの収束性とスパースネスにどのような影響が生じるか？

主な発見

• 提案手法は、CIFAR-10で標準VGGNetモデルに対して34.17%のパラメータ削減を達成し、テスト精度は96.97%を記録し、元のモデルをわずかに上回った。
• 低ランクVGGNetの変種では、28.6%のパラメータ削減を達成し、99%のテスト精度を実現した。これは、最小限の精度損失で高い圧縮を実現したことを示している。
• SVHNデータセットでは、カスタムCNNで49.7%のパラメータ削減、低ランクCNNで24.7%の削減を達成し、それぞれ83.3%および86.3%のテスト精度を維持した。
• ADMMの分離性の利点により、l0ノルム罰則を微分不能な状態で最適化フレームワークに組み込むことが、従来の共同最適化フレームワークでは不可能であったが、本手法では可能になった。
• 既存のSSL手法が高正則化レベルで完全な再訓練を必要とするのに対し、本手法は以前の解からのウォームスタートを採用しており、計算コストを顕著に削減した。
• 複数のアーキテクチャおよびデータセットにおいて、一貫した性能向上または安定性を示した。一部のケースでは、極めてスパースな構造化でさえも、わずかな精度向上が達成された。