[論文レビュー] QuickNet: Maximizing Efficiency and Efficacy in Deep Architectures

Tapabrata Ghosh|arXiv (Cornell University)|Jan 9, 2017

Anomaly Detection Techniques and Applications参考文献 10被引用数 5

ひとこと要約

QuickNetは、SqueezeNetなどの先行モデルよりもパラメータが少なく、推論が速いにもかかわらずCIFAR-10で最先端の正確性（95.7％）を達成する、非常に効率的な深層ニューラルネットワークアーキテクチャを提案する。深さ方向分離畳み込みとパラメトリックReLUユニットを組み合わせることで、計算コストとモデルサイズを低減し、正確性を損なわずリソース制約のあるシステムでも優れたパフォーマンスを実現する。

ABSTRACT

We present QuickNet, a fast and accurate network architecture that is both faster and significantly more accurate than other fast deep architectures like SqueezeNet. Furthermore, it uses less parameters than previous networks, making it more memory efficient. We do this by making two major modifications to the reference Darknet model (Redmon et al, 2015): 1) The use of depthwise separable convolutions and 2) The use of parametric rectified linear units. We make the observation that parametric rectified linear units are computationally equivalent to leaky rectified linear units at test time and the observation that separable convolutions can be interpreted as a compressed Inception network (Chollet, 2016). Using these observations, we derive a network architecture, which we call QuickNet, that is both faster and more accurate than previous models. Our architecture provides at least four major advantages: (1) A smaller model size, which is more tenable on memory constrained systems; (2) A significantly faster network which is more tenable on computationally constrained systems; (3) A high accuracy of 95.7 percent on the CIFAR-10 Dataset which outperforms all but one result published so far, although we note that our works are orthogonal approaches and can be combined (4) Orthogonality to previous model compression approaches allowing for further speed gains to be realized.

研究の動機と目的

• メモリ制限および計算リソース制限のあるシステムへのデプロイを想定し、効率性と正確性の両方を最大化する深層学習アーキテクチャの設計。
• 既存の高速ネットワークと比較して、モデルサイズと推論時間を短縮しながら、分類正確性を維持または向上すること。
• 深さ方向分離畳み込みと学習可能な活性化関数の相乗効果を活用した効率的なネットワーク設計の探求。
• 既存のモデル圧縮技術と直交するように設計し、プルーニングや量子化と組み合わせてさらなる高速化を可能にするモデルの構築。

提案手法

• 標準畳み込みと比較して、パラメータ数とFLOPsを著しく削減できる深さ方向分離畳み込みを採用する。
• 推論時にleaky ReLUと計算的に同等であるが、負の勾配を学習可能にするパラメトリックReLUユニットを導入する。
• 標準畳み込みを深さ方向分離畳み込みに置き換え、ReLUをパラメトリックReLUに置き換えることで、参照用のDarknetアーキテクチャを変更する。
• 得られたアーキテクチャを、構造的効率を活用したInceptionモジュールの圧縮版と解釈する。
• パラメトリックReLUユニット内の学習可能なパラメータを最適化するための修正されたトレーニングプロトコルを採用する。
• 正確性、パラメータ数、推論速度の測定を目的として、CIFAR-10データセット上でアーキテクチャを検証する。

実験結果

リサーチクエスチョン

• RQ1 深さ方向分離畳み込みとパラメトリックReLUユニットは、深層ニューラルネットワークの効率性と正確性を同時に向上させることができるか？
• RQ2 SqueezeNetなどの既存の高速ネットワークと比較して、提案アーキテクチャの正確性と推論速度はどの程度異なるか？
• RQ3 分類性能に影響を与えることなく、モデルサイズをどの程度まで縮小できるか？
• RQ4 提案アーキテクチャは、既存のモデル圧縮技術と互換性があり、さらなる最適化が可能か？

主な発見

• QuickNetは、提出時の時点で発表済みの結果のうち1つを除き、すべてを上回る95.7％のトップ-1正確性をCIFAR-10データセットで達成した。
• 先行アーキテクチャと比較して、顕著に少ないパラメータ数を用いているため、メモリ制限のある環境に適している。
• 深さ方向分離畳み込みによるFLOPsの削減のおかげで、SqueezeNetや他の高速ネットワークと比較して、推論速度が著しく速い。
• パラメトリックReLUユニットは、テスト時の実行時オーバーヘッドがなく、leaky ReLUと計算的に同等であるが、学習可能なパラメータのおかげでパフォーマンスが向上する。
• 既存のモデル圧縮技術と直交する設計であるため、プルーニングや量子化と組み合わせることで、さらなる高速化が可能である。