[論文レビュー] SCAN: A Scalable Neural Networks Framework Towards Compact and Efficient Models

Linfeng Zhang, Zhanhong Tan+4 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications被引用数 32

ひとこと要約

SCANは中間特徴量上で自己蒸留と注意機構を用いて浅い分類器を訓練し、バックボーン全体にわたる圧縮と高速化を伴う、スケーラブルでサンプルごとに適用可能な推論を実現します。浅い分類器の精度向上と全体的なスピードアップを、最小限のオーバーヘッドで達成します。

ABSTRACT

Remarkable achievements have been attained by deep neural networks in various applications. However, the increasing depth and width of such models also lead to explosive growth in both storage and computation, which has restricted the deployment of deep neural networks on resource-limited edge devices. To address this problem, we propose the so-called SCAN framework for networks training and inference, which is orthogonal and complementary to existing acceleration and compression methods. The proposed SCAN firstly divides neural networks into multiple sections according to their depth and constructs shallow classifiers upon the intermediate features of different sections. Moreover, attention modules and knowledge distillation are utilized to enhance the accuracy of shallow classifiers. Based on this architecture, we further propose a threshold controlled scalable inference mechanism to approach human-like sample-specific inference. Experimental results show that SCAN can be easily equipped on various neural networks without any adjustment on hyper-parameters or neural networks architectures, yielding significant performance gain on CIFAR100 and ImageNet. Codes will be released on github soon.

研究の動機と目的

• モデル規模と計算要求の増大に伴い、スケーラブルでエッジに適したニューラルネットワークの必要性を動機づける。
• SCANを提案し、ネットワークをセクションに分割し、アテンションと蒸留を組み込んだ浅い分類器を追加する。
• 閾値を用いたスケーラブルな実行によってサンプル固有の推論を可能にし、精度と速度のバランスを取る。
• 基盤となるアーキテクチャやハイパーパラメータを変更せずに、CIFAR100とImageNetでSCANが精度を向上させ、計算を加速することを示す。

提案手法

• バックボーンネットワークを3つのセクションに分割する。バックボーン、注意モジュール、浅い分類器。
• 中間特徴の後にボトルネックと全結合層を付与して浅い分類器を形成する。
• 訓練中に最も深い分類器から浅い分類器へ知識を転移するために自己蒸留を用いる。
• 浅い分類器用の分類器固有の特徴を生成するため、簡略化した注意モジュールを組み込む。
• 閾値ベースのスケーラブル推論を適用し、浅い分類器を使用するか深い分類器を使用するかを決定する。閾値は遺伝的アルゴリズムで探索される。
• 必要に応じて精度を向上させるために予測をアンサンブルする。

実験結果

リサーチクエスチョン

• RQ1 SCANの自己蒸留と注意機構の組み合わせは、バックボーンを変更せずに浅い分類器の精度を改善できるか。
• RQ2 閾値付けによるスケーラブル推論は、さまざまなデータセットとアーキテクチャで有意な速度アップを、精度の損失をほとんど伴わずに達成できるか。
• RQ3 SCANは標準ベンチマーク（CIFAR100, ImageNet）を複数のバックボーン（VGG, ResNet, Wide ResNet）でどう評価できるか。

主な発見

• SCANはCIFAR100平均で2.17xの加速と3.20xの圧縮を、精度の低下なしで達成し、浅い分類器で最大4.05%の絶対精度向上を達成。
• CIFAR100では、より深いまたは広いネットワークがSCANによる精度とスピードアップの恩恵をより受けやすい。
• ImageNetではSCANによる平均1.26%の精度向上があり、深さ依存の利得（ResNet50で最大1.41%）が見られる。
• スケーラブル推論は、単一の浅い分類器を用いる場合よりも高い加速を生み出し、例としてCIFAR100で精度を損なわずに最大4.41x、より深いネットでは最大6.23xの加速を実現。
• 注意モジュールは浅い分類器に対して顕著な精度向上を提供（例：ResNet50のCIFAR100ケースで5.46%、4.13%、5.16%の獲得）。
• 可視化は注意が有益な領域（例：動物の体）に焦点を合わせ、浅い分類器では局所的特徴から深い分類器ではよりグローバルなテクスチャへと移行することを示す。