[論文レビュー] How deep should be the depth of convolutional neural networks: a backyard dog case study

Alexander N. Gorban, Evgeny M. Mirkes+1 more|arXiv (Cornell University)|May 3, 2018

Face recognition and analysis参考文献 20被引用数 6

ひとこと要約

本論文は、高度な教師あり主成分分析（ASPCA）に基づく反復的でないネットワークの薄型化アルゴリズムを提案し、深く事前学習された畳み込みニューラルネットワーク（CNN）を、特定のタスクに特化した浅い効率的なモデルに蒸留する。顔認識に応用したところ、VGG-16を16層から5層に短縮しながら、低誤差率（MF+MO < 6%）を維持し、Raspberry Piのような低消費電力ハードウェアでもリアルタイム推論を可能にした。

ABSTRACT

The work concerns the problem of reducing a pre-trained deep neuronal network to a smaller network, with just few layers, whilst retaining the network's functionality on a given task The proposed approach is motivated by the observation that the aim to deliver the highest accuracy possible in the broadest range of operational conditions, which many deep neural networks models strive to achieve, may not necessarily be always needed, desired, or even achievable due to the lack of data or technical constraints. In relation to the face recognition problem, we formulated an example of such a usecase, the `backyard dog' problem. The `backyard dog', implemented by a lean network, should correctly identify members from a limited group of individuals, a `family', and should distinguish between them. At the same time, the network must produce an alarm to an image of an individual who is not in a member of the family. To produce such a network, we propose a shallowing algorithm. The algorithm takes an existing deep learning model on its input and outputs a shallowed version of it. The algorithm is non-iterative and is based on the Advanced Supervised Principal Component Analysis. Performance of the algorithm is assessed in exhaustive numerical experiments. In the above usecase, the `backyard dog' problem, the method is capable of drastically reducing the depth of deep learning neural networks, albeit at the cost of mild performance deterioration. We developed a simple non-iterative method for shallowing down pre-trained deep networks. The method is generic in the sense that it applies to a broad class of feed-forward networks, and is based on the Advanced Supervise Principal Component Analysis. The method enables generation of families of smaller-size shallower specialized networks tuned for specific operational conditions and tasks from a single larger and more universal legacy network.

研究の動機と目的

• リソース制約のあるデバイス（例：Raspberry Pi）に大規模で事前学習済みの深層ニューラルネットワークを効果的に展開することに挑戦する。
• 反復的再訓練を伴わずにネットワークの深さを短縮する手法を開発し、特定のタスクに適した機能を保持すること。
• 1つのレガシーモデルから、特定の運用条件に最適化された、より小さな、速く、より効率的なネットワークのファミリーを構築すること。
• 実際の制約のある顔認識タスク（『backyard dog』問題）において、薄型化されたネットワークの性能を評価すること。
• 深さが短縮されたネットワークが、推論時間と計算コストを著しく低減しながらも、妥当な正確性を維持できるかどうかを示すこと。

提案手法

• 本手法は、事前学習済みCNNの各層からの高次元特徴を、低次元空間に射影するために高度な教師あり主成分分析（ASPCA）を用いる。
• ASPCAは反復的でない形で層ごとに逐次適用され、ターゲットタスクに特化した分類に有用な情報を保持する。
• アルゴリズムは、ターゲットデータセット上で分類性能を最大化するように、ASPC（高度な教師あり主成分）のサブセットを選択する。
• このプロセスは、元のネットワークのすべての層に体系的かつ一貫して適用され、深層アーキテクチャを浅層アーキテクチャに変換する。
• 得られた薄型ネットワークは、最終分類層でのみ微調整され、再トレーニングのオーバーヘッドを最小限に抑える。
• 誤り率（MF）と誤って開錠する確率（MO）の合計を最小化するように、ASPCの数と正則化パラメータαを選択することで性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 特定の制限のある認識タスクに適した十分な正確性を維持しながら、事前学習済みの深層CNNを効果的に深さを短縮できるか？
• RQ2 低消費電力ハードウェア上での推論速度と誤り率の観点から、薄型化されたネットワークの性能は、元の深層モデルと比べてどの程度か？
• RQ3 減少したネットワークにおける分類誤りを最小化する最適なASPC数と正則化パラメータαは何か？
• RQ4 限られたデータで学習され、エッジデバイスにデプロイされた浅層ネットワークが、どの程度の機能を維持できるか？
• RQ5 提案手法により、再トレーニングを一切行わず、1つの汎用的レガシーモデルから、特化型で効率的なネットワークのファミリーを生成できるか？

主な発見

• 60個のASPCを用いた5層の『backyard dog』ネットワークは、Raspberry Pi 3Bで64×64の画像を0.70秒で処理し、MF+MO誤り率の平均が5.78%を達成した。
• 70個のASPCを用いた17層ネットワークは、MF+MO誤り率の平均が3.27%であり、100回のテストにおいて最大誤り率が平均の1.8倍にのぼった。
• 最適なASPC選択（60個）を施した5層ネットワークは、平均でMF+MO誤り率8.53%、最悪ケースでは10.22%を記録した。
• 本手法により、低性能ハードウェアでもリアルタイム推論が可能である：5層モデルはRaspberry Piの1コアで1枚の画像あたり1秒未満で実行された。
• 反復的でないASPCAに基づくアプローチは、ネットワークの深さを短縮しながらも、妥当な性能を維持できることを示し、エッジデプロイの実現可能性を裏付けた。
• 本手法は汎用的であり、MobileNet や SqueezeNet などの他のアーキテクチャにも応用可能であるが、本研究ではその検証は行われなかった。