[論文レビュー] Computational optimization of convolutional neural networks using separated filters architecture

Elena Limonova, Alexander Sheshkus+1 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Data Processing Techniques被引用数 6

ひとこと要約

本稿では、2次元畳み込みフィルタを可分フィルタの線形結合として表現することで、畳み込みニューラルネットワーク（CNN）の計算最適化を提案する。この手法により、精度を損なわずに文字および数字認識タスクで15％の高速化を達成でき、モバイルおよび組み込みシステムに適している。

ABSTRACT

This paper considers a convolutional neural network transformation that reduces computation complexity and thus speedups neural network processing. Usage of convolutional neural networks (CNN) is the standard approach to image recognition despite the fact they can be too computationally demanding, for example for recognition on mobile platforms or in embedded systems. In this paper we propose CNN structure transformation which expresses 2D convolution filters as a linear combination of separable filters. It allows to obtain separated convolutional filters by standard training algorithms. We study the computation efficiency of this structure transformation and suggest fast implementation easily handled by CPU or GPU. We demonstrate that CNNs designed for letter and digit recognition of proposed structure show 15% speedup without accuracy loss in industrial image recognition system. In conclusion, we discuss the question of possible accuracy decrease and the application of proposed transformation to different recognition problems. convolutional neural networks, computational optimization, separable filters, complexity reduction.

研究の動機と目的

• モバイルおよび組み込みプラットフォームなどのリソース制約のある環境におけるCNNの高い計算コストに対処すること。
• モデルの精度を損なわず2次元畳み込み演算の計算複雑度を低減すること。
• 変換されたフィルタアーキテクチャ上で標準の最適化アルゴリズムを用いて、効率的な学習と推論を可能にすること。
• 実世界の画像認識システムにおいて、認識性能を維持したまま実用的な高速化を示すこと。

提案手法

• 2次元畳み込みフィルタを1次元可分フィルタの線形結合として表現することで、計算複雑度を低減する。
• 変換されたネットワークのエンドツーエンド学習に、標準の誤差逆伝播法および確率的勾配降下法を適用する。
• CPUおよびGPUハードウェアの両方で、分離されたフィルタアーキテクチャを効率的に実装する。
• 表現能力を保持しつつ、フィルタ分解を制約するパラメータ共有機構を採用する。
• 分解が微分可能であり、標準のディープラーニングフレームワークと互換性があるようにネットワークを設計する。
• 2次元畳み込みを連鎖する1次元畳み込みに置き換えることで推論を最適化し、FLOPsとメモリアクセスを削減する。

実験結果

リサーチクエスチョン

• RQ1 2次元畳み込みフィルタを可分フィルタに効果的に分解することで、顕著な精度低下が生じないか？
• RQ2 このフィルタ分解手法により、計算複雑度はどの程度低減できるか？
• RQ3 本手法は、実世界の認識タスクにおける推論速度において、どの程度の性能を示すか？
• RQ4 この変換は、標準の学習手順およびハードウェアアクセラレータと互換性があるか？
• RQ5 実際の展開環境において、モデルの複雑度と高速化のトレードオフはいかなるものか？

主な発見

• 提案手法は、文字および数字認識タスクにおいて推論時間に15％の高速化を達成したが、精度に影響はなかった。
• 変換されたCNN構造は、産業用途の画像認識ベンチマークでも高い性能を維持した。
• 本手法は標準の学習アルゴリズムと互換性があり、CPUおよびGPUの両方で効率的に実装可能である。
• フィルタ分解後に可分畳み込みを用いることで、計算複雑度が顕著に低減された。
• 最小限のアーキテクチャ変更で、モバイルおよび組み込みプラットフォームへのCNNの効率的デプロイが可能になった。
• 変換および再学習後でも、モデル精度に顕著な低下は観察されなかった。