[論文レビュー] A Lightened CNN for Deep Face Representation

Xiang Wu, Ran He+1 more|arXiv (Cornell University)|Nov 9, 2015

Face recognition and analysis参考文献 26被引用数 139

ひとこと要約

この論文では、Max-Feature-Map (MFM) 活性化関数とアーキテクチャ最適化を用いた軽量化されたCNNフレームワークを提案し、コン act な顔特徴表現を学習する。ReLUに代えてMFMを採用し、NINモジュールを統合することで、VGGよりも9倍以上計算コストが低く、約400万パラメータでLFWおよびYTFで最先端の精度を達成した。

ABSTRACT

Convolution neural network (CNN) has significantly pushed forward the development of face recognition techniques. To achieve ultimate accuracy, CNN models tend to be deeper or multiple local facial patch ensemble, which result in a waste of time and space. To alleviate this issue, this paper studies a lightened CNN framework to learn a compact embedding for face representation. First, we introduce the concept of maxout in the fully connected layer to the convolution layer, which leads to a new activation function, named Max-Feature-Map (MFM). Compared with widely used ReLU, MFM can simultaneously capture compact representation and competitive information. Then, one shallow CNN model is constructed by 4 convolution layers and totally contains about 4M parameters; and the other is constructed by reducing the kernel size of convolution layers and adding Network in Network (NIN) layers between convolution layers based on the previous one. These models are trained on the CASIA-WebFace dataset and evaluated on the LFW and YTF datasets. Experimental results show that the proposed models achieve state-of-the-art results. At the same time, a reduction of computational cost is reached by over 9 times in comparison with the released VGG model.

研究の動機と目的

• 精度を損なわず、深層顔認識における計算コストを低減すること。
• 少ないパラメータ数と演算量で高い性能を維持するコンパクトなCNNアーキテクチャを設計すること。
• Max-Feature-Map (MFM) をReLUの代替として用いることで、畳み込み層における特徴表現の向上を検討すること。
• ネットワークの深さとカーネルサイズを最適化し、NINブロックなどのアーキテクチャ的革新を通じて識別能を保持すること。

提案手法

• 畳み込み層に新しい活性化関数としてMax-Feature-Map (MFM) を導入し、ReLUに置き換えることで特徴のコンパクトさと情報保持を向上させる。
• 効率的な学習と推論を実現するため、4層の畳み込み層と約400万パラメータを有する浅いCNNを構築する。
• ベースモデルを改善するために、カーネルサイズを縮小し、畳み込み層の間にNetwork-in-Network (NIN) モジュールを挿入することで表現能力を向上させる。
• CASIA-WebFaceデータセットでモデルを学習し、LFWおよびYTFベンチマークデータセットで性能を評価する。
• データオーグメンテーションと最適化技術を用いた標準的な学習プロトコルを採用し、一般化性能を最大化する。
• 速度とパラメータ削減の定量的評価を目的として、公開済みのVGGモデルと計算効率と精度を比較する。

実験結果

リサーチクエスチョン

• RQ1 400万パラメータ未満のコンパクトなCNNが、顔認識で最先端の性能を達成できるか？
• RQ2 Max-Feature-Map (MFM) 活性化関数は、複雑さを低減しつつ、より優れた顔特徴表現を学習できるか？
• RQ3 カーネルサイズの縮小やNINモジュールといったアーキテクチャ的変更が、モデルの深さを増さずに性能を向上させられる程度はどの程度か？
• RQ4 推論速度とパラメータ数の観点から、VGGモデルと比較して、提案モデルはどの程度計算効率に優れているか？

主な発見

• MFMとNINモジュールを組み合わせた軽量化CNNは、LFWおよびYTF顔認識ベンチマークで最先端の精度を達成した。
• 公開済みのVGGモデルと比較して、計算コストを9倍以上低減したが、高い性能を維持した。
• MFM活性化関数は、顔埋め込みの文脈において、ReLUよりもよりコンパクトで競争力のある特徴表現を可能にした。
• カーネルサイズの縮小とNINブロックの導入により、深さやパラメータ数を著しく増加させずに表現能力が向上した。
• 最終的なモデルは約400万パラメータしかなく、リアルタイムまたはモバイルデプロイメントに非常に効率的であることが示された。
• LFWおよびYTFの両データセットで強力な一般化性能を示し、多様な顔認識シナリオにおける耐障害性が確認された。