[論文レビュー] Flattened Convolutional Neural Networks for Feedforward Acceleration

Jonghoon Jin, Ayşegül Dündar+1 more|arXiv (Cornell University)|Dec 17, 2014

Advanced Neural Network Applications参考文献 18被引用数 207

ひとこと要約

この論文では、3次元畳み込みフィルタをチャネル、垂直方向、水平方向の順方向の1次元畳み込みに置き換えることで、パラメータ数を最大10倍削減し、同等またはより高い精度を維持しながら、推論速度を約2倍に向上させるフラット化された畳み込みニューラルネットワークを提案している。後処理や手動チューニングを必要としない。

ABSTRACT

We present flattened convolutional neural networks that are designed for fast feedforward execution. The redundancy of the parameters, especially weights of the convolutional filters in convolutional neural networks has been extensively studied and different heuristics have been proposed to construct a low rank basis of the filters after training. In this work, we train flattened networks that consist of consecutive sequence of one-dimensional filters across all directions in 3D space to obtain comparable performance as conventional convolutional networks. We tested flattened model on different datasets and found that the flattened layer can effectively substitute for the 3D filters without loss of accuracy. The flattened convolution pipelines provide around two times speed-up during feedforward pass compared to the baseline model due to the significant reduction of learning parameters. Furthermore, the proposed method does not require efforts in manual tuning or post processing once the model is trained.

研究の動機と目的

• リアルタイムおよびモバイルアプリケーションにおける大規模な畳み込みニューラルネットワーク（CNN）の計算非効率性を解消すること。
• モデルの精度を損なわずに3次元畳み込みフィルタのパrameterの冗長性を低減すること。
• トレーニング中に3次元フィルタを順方向の1次元畳み込みに再構成することで、順方向推論を高速化すること。
• スマートフォンや組み込みシステムなどのリソース制約のあるデバイスへの効率的なデプロイを可能にすること。
• パフォーマンスを維持しながら、トレーニング後の最適化や手動のハイパーパramータチューニングを回避する手法を開発すること。

提案手法

• 各3次元畳み込みフィルタを、チャネル方向（横方向）、垂直方向、水平方向の3つの1次元畳み込みのシーケンスに置き換える。
• 制約付きパスを介してバックプロパゲーションを保持するように、フラットな1次元構造でネットワークをエンドツーエンドにトレーニングする。
• 追加の正則化やスパarsity制約を用いず、標準的なトレーニング手順を用いる。
• 1次元畳み込みによるメモリのコalescedアクセスと計算の削減を活用し、推論を高速化する。
• CPUおよびGPUの両方で最適化された1次元畳み込みルーチンを実装し、パフォーマンス向上を最大化する。
• 一般化性と効率性を評価するために、複数のデータセットに同じアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みフィルタを順方向の1次元畳み込みに置き換えることで、分類精度を維持または向上させることができるか？
• RQ2 フラット化された1次元構造は、パラメータ数をどの程度削減し、順方向推論をどの程度高速化できるか？
• RQ3 提案手法により、トレーニング後の圧縮処理や手動のハイパーパramータチューニングの必要性が排除できるか？
• RQ4 入力画像サイズやハードウェアプラットフォーム（CPU対GPU）の変化に伴い、速度向上はどのようにスケーリングされるか？
• RQ5 フラット化アーキテクチャは、CIFAR-10、CIFAR-100、MNISTといった多様なデータセットに効果的に適用可能か？

主な発見

• CIFAR-10では、フラットモデルがテスト精度87.04%を達成し、ベースラインモデル（86.42%）をわずかに上回った。
• CIFAR-100では、フラットモデルが60.92%の精度を達成したのに対し、ベースラインは60.08%であり、一般化性能の向上が示された。
• MNISTでは、フラットモデルが99.56%の精度を達成したが、ベースラインの99.62%をわずかに下回ったが、パラメータ数は著しく削減された。
• すべてのテストされた画像サイズにおいて、CPUおよびGPUの両方で、フラットモデルは順方向推論において約2倍の高速化を達成した。
• 計算とメモリアクセスの相対的オーバーヘッドが減少するため、画像サイズが大きくなるほど速度向上が顕著になった。
• GPUでは、勾配蓄積時の頻繁なグローバルメモリアクセスのため、バックプロパゲーションの高速化は限定的であったが、CPUおよびGPUの両方でトレーニング時間は依然として短縮された。