[論文レビュー] Efficient Gender Classification Using a Deep LDA-Pruned Net

Qing Tian, Tal Arbel+1 more|arXiv (Cornell University)|Apr 20, 2017

Face recognition and analysis参考文献 45被引用数 7

ひとこと要約

本論文では、Fisherの線形判別分析（LDA）を用いて最終畳み込み層の冗長なニューロンを同定・削除することで、VGG-16から軽量な16層の深層ニューラルネットワークに剪定した手法を提案する。この手法により、LFWおよびCelebAデータセットにおいて精度を維持または向上させながら、モデルサイズを70倍小さく、11倍高速化することに成功した。剪定された特徴量はベイジアンまたはSVM分類器を用いて効率的に分類可能であり、CPUおよびモバイルデバイス上でのリアルタイムデプロイが可能である。

ABSTRACT

Many real-time tasks, such as human-computer interaction, require fast and efficient facial gender classification. Although deep CNN nets have been very effective for a multitude of classification tasks, their high space and time demands make them impractical for personal computers and mobile devices without a powerful GPU. In this paper, we develop a 16-layer, yet lightweight, neural network which boosts efficiency while maintaining high accuracy. Our net is pruned from the VGG-16 model starting from the last convolutional (conv) layer where we find neuron activations are highly uncorrelated given the gender. Through Fisher's Linear Discriminant Analysis (LDA), we show that this high decorrelation makes it safe to discard directly last conv layer neurons with high within-class variance and low between-class variance. Combined with either Support Vector Machines (SVM) or Bayesian classification, the reduced CNNs are capable of achieving comparable (or even higher) accuracies on the LFW and CelebA datasets than the original net with fully connected layers. On LFW, only four Conv5_3 neurons are able to maintain a comparably high recognition accuracy, which results in a reduction of total network size by a factor of 70X with a 11 fold speedup. Comparisons with a state-of-the-art pruning method as well as two smaller nets in terms of accuracy loss and convolutional layers pruning rate are also provided.

研究の動機と目的

• モバイル端末や組み込みシステムなどのリソース制約のあるデバイス上でリアルタイムの顔の性別分類を可能にすること。
• 分類精度を損なわず、深層CNNの計算およびメモリ消費量を低減すること。
• 統計的相関除去解析を用いて、事前学習済みの深層ネットワークの最終畳み込み層における冗長なニューロンを同定・削除すること。
• 高コストな全結合層を、性能を維持または向上させる軽量分類器（SVM、ベイジアン）に置き換えること。
• クラス固有のニューロン相関除去に基づく剪定が、重みの大きさに基づく剪定よりも効果的であることを示すこと。

提案手法

• 最終畳み込み層（Conv5_3）の活性化値にFisherの線形判別分析（LDA）を適用し、クラス間分散が小さく、クラス内分散が高いニューロンを同定すること。
• クラス内分散が高く、クラス間分散が低いニューロンを剪定対象とし、分類の区別に寄与しないとされる。
• 剪定後の性能を維持するため、残存するニューロンのみを用いてネットワークを再学習すること。
• 元の全結合層を、ベイジアンおよび線形/RBFカーネルを用いたSVMといった軽量分類器に置き換えること。
• LFWおよびCelebAデータセット上で、代替分類器を用いた剪定ネットワークの精度と効率を評価すること。
• さまざまな剪定率および比較手法におけるモデルサイズ、推論速度、精度損失を測定すること。

実験結果

リサーチクエスチョン

• RQ1 最終畳み込み層における統計的相関除去に基づくニューロン剪定は、精度を損なわず、モデルサイズと推論時間を顕著に削減できるか？
• RQ2 全結合層をSVMやベイジアンといった軽量分類器に置き換えることで、元のFC層と同等またはより優れた性能が得られるか？
• RQ3 LDAに基づく剪定は、重みの大きさに基づく剪定と比較して、精度損失と剪定効率の点で優れているか？
• RQ4 剪定され、軽量化されたネットワークは、部分的遮蔽や複雑な背景を伴う困難なデータセット（LFWやCelebA）においても高い精度を達成できるか？
• RQ5 モデルのメモリおよび計算要求が低減されたことにより、剪定済みネットワークはモバイルまたは組み込みシステムへのデプロイがどの程度可能になるか？

主な発見

• LDAで剪定されたネットワークは、LFWおよびCelebAにおいて高い精度を維持しながら、モデルサイズを70倍小さく（500 MB以上から7 MBに）した。
• LFWにおける高い認識精度を維持するため、Conv5_3層からわずか4つのニューロンで十分であった。これにより70倍のモデルサイズ削減が達成された。
• 元のVGG-16と比較して、推論時間は11倍高速化された。これはCPU上でテストされた場合でも同様に成立した。
• LDAで剪定された特徴量とベイジアンまたはSVM分類器の組み合わせは、遮蔽やぼやけが生じるような困難なテストケースにおいて、元の全結合層を上回る性能を示した。
• 特に畳み込み層の剪定において、85％以上の剪定率でも、最先端の重みベース剪定法よりも精度損失が小さかった。
• 代替分類器のストレージオーバーヘッドは最小限で、ベイジアンでは2 MB、SVMでは30 KBにとどまった。これにより、全体としてモバイルデプロイに非常に適したシステムとなった。