[論文レビュー] Accelerating Very Deep Convolutional Networks for Classification and Detection

Xiangyu Zhang, Jianhua Zou+2 more|arXiv (Cornell University)|May 26, 2015

Advanced Neural Network Applications参考文献 40被引用数 29

ひとこと要約

本論文は、確率的勾配降下法に依存せずに、VGG-16のような非常に深い畳み込みネットワークの推論速度を向上させるために、一般化特異値分解（GSVD）を用いた非線形かつ非対称な応答再構成手法を提案する。ImageNetではトップ5誤差が0.3%増加するのみで4倍の高速化を達成し、物体検出ではmAPが0.8%劣化するという滑らかな性能低下を示し、深層モデルの高速化において、精度とスケーラビリティの両面で先行研究を上回る。

ABSTRACT

This paper aims to accelerate the test-time computation of convolutional neural networks (CNNs), especially very deep CNNs that have substantially impacted the computer vision community. Unlike previous methods that are designed for approximating linear filters or linear responses, our method takes the nonlinear units into account. We develop an effective solution to the resulting nonlinear optimization problem without the need of stochastic gradient descent (SGD). More importantly, while previous methods mainly focus on optimizing one or two layers, our nonlinear method enables an asymmetric reconstruction that reduces the rapidly accumulated error when multiple (e.g., >=10) layers are approximated. For the widely used very deep VGG-16 model, our method achieves a whole-model speedup of 4x with merely a 0.3% increase of top-5 error in ImageNet classification. Our 4x accelerated VGG-16 model also shows a graceful accuracy degradation for object detection when plugged into the Fast R-CNN detector.

研究の動機と目的

• 非常に深い畳み込みネットワーク（例：VGG-16）の推論時高速化を、確率的勾配降下法に依存せずに実現すること。
• 特に10層を超えるような深層スタックにおいて、複数のレイヤーを近似する際の誤差の急速な蓄積を軽減すること。
• 冗長性と計算コストに基づき、各レイヤーごとに適応的なランク選択が可能な、効果的な全モデル高速化を可能にすること。
• 画像分類と物体検出の両方の複雑なベンチマーク（ImageNet分類、PASCAL VOCオブジェクト検出）を用いて、転移学習応用における評価を実施すること。
• 高速化が単にアーキテクチャの変更によるものではなく、モデルの情報を保持する有効な最適化アルゴリズムによるものであることを示すこと。

提案手法

• 畳み込みレイヤー内のReLUユニットの非線形性を明示的にモデル化する非線形応答再構成手法を提案し、確率的勾配降下法の必要を回避する。
• 事前に近似されたレイヤーからの誤差伝搬を考慮する非対称な再構成戦略を導入し、深層スタックにおける累積誤差を低減する。
• 非線形最適化問題を直接解くために一般化特異値分解（GSVD）を用い、バックプロパゲーションを必要としない閉形式解を可能にする。
• フィルタの冗長性、特徴マップのサイズ、計算コストに基づき、レイヤー固有の圧縮比を決定する適応的ランク選択手法を開発する。
• 特徴階層を保持しつつ、13の畳み込みレイヤーすべてを低ランク近似を用いて分解することで、VGG-16モデル全体にこの手法を適用する。
• 分解後、エンドツーエンドで微調整を実施し、精度をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 非常に深いネットワークにおける複数レイヤーの高速化において、非線形的かつ非対称な再構成手法が誤差蓄積を効果的に低減できるか？
• RQ2 深層モデルの高速化において、GSVDベースの最適化アプローチが、SGDベースのソルバーよりも精度と収束性において優れているか？
• RQ3 ImageNet や PASCAL VOC といった複雑なベンチマークにおいて、VGG-16 などの非常に深いモデルに対して、最小限の精度損失で全モデル高速化が達成可能か？
• RQ4 性能向上はアーキテクチャの圧縮そのものによるものか、それとも最適化アルゴリズム自体が表現能力の保持に重要な役割を果たしているか？
• RQ5 適応的ランク選択戦略は、計算コストや特徴冗長性が異なるレイヤー間で、スピードアップと精度のバランスをどのようにとるか？

主な発見

• 微調整を施した後、VGG-16では理論的4倍の高速化を達成し、ImageNet分類においてトップ5誤差が0.3%増加するのみである。
• 微調整なしでも、4倍の高速化においてトップ5誤差が0.9%増加するという結果を得ており、強固な性能と効果的な情報統合の能力を示している。
• 先行研究を上回る性能を示す：Figurnovらは、CPU高速化3倍・4倍の際、それぞれ3.4%および7.1%の誤差増加を報告しているが、本手法は著しく低い劣化を維持している。
• PASCAL VOC 2007におけるFast R-CNNを用いた物体検出では、4倍高速化モデルがmAPを66.9%から66.1%まで0.8%劣化するにとどまり、滑らかな性能-速度トレードオフを示している。
• 5倍高速化バージョンでは1.7%のmAP低下が生じるが、これは予測可能で管理可能な性能-速度のトレードオフであることを示している。
• 実験により、同じ圧縮アーキテクチャでスクラッチから訓練したモデルは性能が劣ることが判明し、最適化アルゴリズムそのものが効果的な高速化を可能にしていることを証明している。