[論文レビュー] Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation

Emily Denton, Wojciech Zaremba+3 more|arXiv (Cornell University)|Apr 2, 2014

Advanced Neural Network Applications参考文献 15被引用数 1,095

ひとこと要約

本論文では、畳み込みフィルタの構造的再冗長性を活用することで、大規模な畳み込みニューラルネットワーク（CNN）における推論を高速化する線形圧縮技術——特に低ランク近似とフィルタクラスタリング——を提案する。この手法は、CPUおよびGPUの両方で2–3倍の高速化を達成し、精度の低下は1%未満に抑えられ、全結合層のパラメータ数を最大13倍まで削減する。

ABSTRACT

We present techniques for speeding up the test-time evaluation of large convolutional networks, designed for object recognition tasks. These models deliver impressive accuracy but each image evaluation requires millions of floating point operations, making their deployment on smartphones and Internet-scale clusters problematic. The computation is dominated by the convolution operations in the lower layers of the model. We exploit the linear structure present within the convolutional filters to derive approximations that significantly reduce the required computation. Using large state-of-the-art models, we demonstrate we demonstrate speedups of convolutional layers on both CPU and GPU by a factor of 2x, while keeping the accuracy within 1% of the original model.

研究の動機と目的

• スマートフォンや大規模クラスタのようなリソース制約のあるデバイスで大規模CNNを評価する際の高い計算コストに対処すること。
• 顕著な精度低下を伴わずに、最先端のImageNetモデルの推論時間を短縮すること。
• 線形代数的圧縮技術を用いて、畳み込みフィルタに内在する再冗長性を活用し、計算負荷を最小限に抑えること。
• 圧縮が、早期の畳み込み層および全結合層の両方に対して効果的に適用可能であることを示し、効率的なデプロイメントを可能にすること。
• 圧縮技術を複数の層に段階的に適用することで、累積的な高速化を達成しつつモデル性能を維持できることを示すこと。

提案手法

• 4次元畳み込みフィルタ重みを低ランクテンソル分解（例：SVDベース）を用いて近似することで、パラメータ数と計算量を削減する。
• モノクローム近似と外積分解を用いたバイクラスタリングを用い、同じ層内のフィルタ間の類似性を活用する。
• 層ごとの圧縮を実施：最初の畳み込み層を圧縮し、上位層を微調整した後、2番目の層を圧縮し、同様の手順を繰り返す。
• 全結合層の圧縮に標準的なSVDを適用し、パラメータ数を最大13倍まで削減する。
• 各圧縮ステップの後に微調整を実施することで、モデルの精度を回復させ、性能低下を最小限に抑える。
• 量子化やフーリエ変換ベースの畳み込みといった既存の高速化手法と組み合わせることで、直交的な利得を得る。

実験結果

リサーチクエスチョン

• RQ1 畳み込みフィルタに内在する構造的再冗長性を活用することで、大規模CNNにおける推論時間の短縮が可能か？
• RQ2 低ランク近似とフィルタクラスタリングを用いることで、精度をほとんど損なわず推論を高速化できるか、その程度は？
• RQ3 複数の層にわたる段階的圧縮は、累積的な高速化を達成するのにどの程度有効か？
• RQ4 全結合層のパラメータ数の削減は、モバイルデプロイメントにおけるメモリ効率を顕著に向上させられるか？
• RQ5 圧縮プロセスは正則化効果を示す可能性があり、一般化性能の向上に寄与するか？

主な発見

• 提案された圧縮技術により、最先端のImageNetモデルにおける畳み込み層の推論で、CPUおよびGPUの両方で2–3倍の高速化が達成された。
• 精度の低下が1%未満である条件下で、SVDベースの低ランク近似を用いて全結合層のパラメータ数を最大13倍まで削減できた。
• 最初の畳み込み層にモノクローム近似を適用した場合、パラメータ数を3倍に削減し、誤差は0.43%増加したにとどまった。
• 2番目の層に外積分解を用いたバイクラスタリングを適用した場合、パラメータ数を5.3倍に削減し、誤差は0.68%増加した。
• 最初の2層に圧縮を段階的に適用した場合、元のモデルと比較して精度の低下が1%以内に抑えられ、全体的な高速化が顕著に向上した。
• 圧縮プロセスはフィルタを洗練させる効果があり、まれにテスト誤差が改善されることも観察され、正則化効果の可能性が示唆された。