[論文レビュー] Coordinating Filters for Faster Deep Neural Networks

Wei Wen, Cong Xu+4 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Neural Network Applications参考文献 25被引用数 12

ひとこと要約

この論文では、推論を高速化するための低ランク近似（LRA）をより効率的に行うために、トレーニング時に畳み込みフィルタを調整するための Force Regularization を提案する。バックプロパゲーション中に引力を適用することで、LRA に必要なランクを低減し、AlexNet では CPU で最大 4.05× の高速化を達成しつつ、精度の損失を最小限に抑え、スパarsity メソッドと組み合わせることでさらなる圧縮が可能になる。

ABSTRACT

Very large-scale Deep Neural Networks (DNNs) have achieved remarkable successes in a large variety of computer vision tasks. However, the high computation intensity of DNNs makes it challenging to deploy these models on resource-limited systems. Some studies used low-rank approaches that approximate the filters by low-rank basis to accelerate the testing. Those works directly decomposed the pre-trained DNNs by Low-Rank Approximations (LRA). How to train DNNs toward lower-rank space for more efficient DNNs, however, remains as an open area. To solve the issue, in this work, we propose Force Regularization, which uses attractive forces to enforce filters so as to coordinate more weight information into lower-rank space. We mathematically and empirically verify that after applying our technique, standard LRA methods can reconstruct filters using much lower basis and thus result in faster DNNs. The effectiveness of our approach is comprehensively evaluated in ResNets, AlexNet, and GoogLeNet. In AlexNet, for example, Force Regularization gains 2x speedup on modern GPU without accuracy loss and 4.05x speedup on CPU by paying small accuracy degradation. Moreover, Force Regularization better initializes the low-rank DNNs such that the fine-tuning can converge faster toward higher accuracy. The obtained lower-rank DNNs can be further sparsified, proving that Force Regularization can be integrated with state-of-the-art sparsity-based acceleration methods. Source code is available in https://github.com/wenwei202/caffe

研究の動機と目的

• 大規模な DNN のリソース制限のあるデバイスへの展開を困難にする高い計算要求の課題に対処すること。
• トレーニング段階から低ランクの重み空間を指向することで、低ランク近似（LRA）手法の効率を向上させること。
• LRA を用いた正確なフィルタ再構築に必要なランクを低減させることで、より高速な推論を実現すること。
• 後続のスパース化およびハードウェアアクセceleration に適した DNN を作成すること。
• より高い精度を得るために、フィルタの識別性を向上させるためにこの手法を一般化すること。

提案手法

• Force Regularization は、重み空間におけるフィルタの整合性を高めるために、バックプロパゲーション中に追加の勾配項を導入する。この項が引力として作用し、フィルタの相関性を向上させる。
• この手法は、フィルタ間のコサイン類似度に基づく正則化損失を用い、ベクトル表現間の角度を小さくすることで、フィルタがより密接に一致するよう促進する。
• 正則化は、強度を制御するハイパーパrameter λ を用いてトレーニング中に適用され、微分可能であるため、エンドツーエンドのトレーニングが可能である。
• Force Regularization を用いたトレーニング後、ネットワークのフィルタは、クロスフィルタ PCA などの手法による低ランク分解にさらに適しており、同じ再構築誤差でより少ない基底フィルタ数で済む。
• 本手法は、既存の LRA やスパarsity に基づく高速化技術と互換性があり、共同での圧縮と高速化が可能である。
• 力の方向を反転させることで（負の λ を使用）、一般化された識別正則化（Discrimination Regularization）に拡張可能であり、フィルタの直交性を高め、分類精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 追加の正則化力によるトレーニングにより、フィルタ間の相関性が向上し、より効率的な低ランク近似が可能になるか？
• RQ2 Force Regularization により、LRA を用いた正確なフィルタ再構築に必要なランクが低減され、結果として推論が高速化されるか？
• RQ3 Force Regularization でトレーニングされた DNN は、LRA 分解後により効果的にファインチューニング可能となり、より高い精度に速やかに収束するか？
• RQ4 得られた低ランクモデルは、SSL や接続プルーニングなどのスパarsity ベースの手法でさらに圧縮可能か？
• RQ5 同じ正則化を、フィルタの識別性を向上させ、分類精度を向上させるために応用可能か？

主な発見

• AlexNet の最初の畳み込み層において、Force Regularization により LRA に必要なランクが最大 55% 減少（11 から 5 に）し、再構築誤差は ≤20% に抑えられた。
• AlexNet では、現代の GPU で 2× の高速化、CPU で 4.05× の高速化が達成され、精度の低下はわずか 0.8% にとどまった。
• LRA 分解後のモデルのファインチューニングが高速化され、Force Regularization による初期化のおかげで、より高い精度に速やかに収束した。
• Force Regularization で得られる軽量 DNN は、構造的（SSL）および非構造的スパarsity メソッドを用いてさらにスパース化可能であり、ベースラインモデルよりも高い圧縮率と高速化が達成された。
• ディープコンプレッションと組み合わせた場合、ベースラインより 2.69× の高速推論が達成され、圧縮率は同等ながら畳み込み層での性能が優れていた。
• 本手法の変種である識別正則化（Discrimination Regularization）は、AlexNet でトップ-1 精度を 0.92% 向上、ResNet-20 では 0.85% 向上させ、特徴学習の向上を示した。