[論文レビュー] Fast ConvNets Using Group-wise Brain Damage

Vadim Lebedev, Victor Lempitsky|arXiv (Cornell University)|Jun 8, 2015

Advanced Neural Network Applications参考文献 35被引用数 19

ひとこと要約

この論文は、畳み込みカーネルテンソルをグループ単位でスパース化することで、ConvNets の高速化を図る構造的(pruning)手法「グループワイズブレインダメージ」を提案する。トレーニング中にグループスパースネス正則化を活用することで、低次元畳み込みにおける行列乗算の演算量を削減し、AlexNet のボトルネック層で最大 8.5× の高速化を達成したが、精度はわずか 1% の低下にとどまった。また、受容 field と特徴マップの自動的除去も可能となった。

ABSTRACT

We revisit the idea of brain damage, i.e. the pruning of the coefficients of a neural network, and suggest how brain damage can be modified and used to speedup convolutional layers. The approach uses the fact that many efficient implementations reduce generalized convolutions to matrix multiplications. The suggested brain damage process prunes the convolutional kernel tensor in a group-wise fashion by adding group-sparsity regularization to the standard training process. After such group-wise pruning, convolutions can be reduced to multiplications of thinned dense matrices, which leads to speedup. In the comparison on AlexNet, the method achieves very competitive performance.

研究の動機と目的

• 大規模な ConvNets の計算ボトルネックを軽減し、顕著な精度損失なしに畳み込み層の高速化を実現すること。
• 高いパラメータスパースネスを達成しても実用的な高速化をもたらさない非構造的(pruning)の限界を克服すること。
• 畳み込みの行列乗算の削減を活用して、より高速な推論を可能にする構造的スパarsity 法を導入すること。
• グループワイズスパースネス正則化を通じて、データ駆動型の最適な受容 field と不要な特徴マップの同定を可能にすること。
• グループワイズプルーニングが、精度損失と比較して高速化効率に優れたテンソル因子分解に基づく高速化手法を上回ることを示すこと。

提案手法

• 効率的なディープラーニングライブラリで一般的に用いられる、im2col（低次元化）変換を用いて一般化された畳み込みを行列乗算に還元すること。
• 4次元畳み込みカーネルテンソルのエントリを、空間的またはチャネルのグループ単位で構造的なブロックにグループ化し、連携されたプルーニングを可能にすること。
• 確率的勾配降下法中に切り捨てられた l2,1 グループスパースネス正則化子を適用し、カーネル重みのグループ全体を 0 にプルーニングするよう促すこと。
• 検証性能に基づいて、グループプルーニングのしきい値 θ を動的に調整し、高速化と精度のバランスを取ること。
• 反復的なプルーニングとファインチューニングを実施し、徐々にスパarsity を高めながらモデル精度を維持すること。
• 階層的グループスパースネス正則化子を用いて、有益な場合には完全な特徴マップの削除（ゼロスパースネスパターン）を明示的に促すこと。

実験結果

リサーチクエスチョン

• RQ1 グループスパースネス正則化によって誘導される構造的プルーニングにより、ConvNet 推論における測定可能な高速化が達成できるか？
• RQ2 グループワイズブレインダメージは、非構造的プルーニングやテンソル因子分解手法と比較して、高速化と精度のトレードオフにおいて優れているか？
• RQ3 グループワイズスパースネスを通じて、データ駆動型の最適な受容 field の形状とサイズが学習プロセスで自動的に同定可能か？
• RQ4 性能の劣化なしに、どの程度まで完全な特徴マップをデータ駆動的にプルーニングできるか？
• RQ5 AlexNet や VGGNet といった、異なる初期フィルターサイズと深さを持つアーキテクチャに対しても、本手法は一般化可能か？

主な発見

• 提案されたグループワイズブレインダメージ手法により、AlexNet のボトルネック層（conv2 と conv3）で最大 8.5× の高速化を達成したが、トップ-1 精度はわずか 1% の低下にとどまった。
• 本手法により、完全な特徴マップの自動的・データ駆動的プルーニングが可能となり、VGGNet の層で 64 中 29 個の特徴マップが削除された。これは、元のアーキテクチャに構造的な冗長性が存在することを示している。
• スパース化により、INRIA Holidays データセットで 3.2× の高速化が達成され、性能低下はほとんどなかった（mAP 0.783 → 0.780）。
• 最適化プロセスにより、より円形的かつ中心に集中した受容 field が学習された。これは他の研究でも報告されている結果と整合的である。
• 同じ精度損失に対して、テンソル因子分解に基づく手法よりも高速化効率に優れた性能を示した。
• 本手法は、3×3 フィルタを有する VGGNet といった小さなフィルタを持つネットワークに対しても有効であり、13% のカーネル密度（τ=0.13）を達成したが、トップ-1 精度はわずか 0.2% の低下にとどまった。