[論文レビュー] When Face Recognition Meets with Deep Learning: an Evaluation of Convolutional Neural Networks for Face Recognition

Guosheng Hu, Yongxin Yang+5 more|arXiv (Cornell University)|Apr 9, 2015

Face recognition and analysis参考文献 22被引用数 38

ひとこと要約

この論文は、公開LFWデータセット上で直接複数のアーキテクチャを訓練・比較することで、顔認識のための畳み込みニューラルネットワーク（CNNs）を評価し、ネットワーク融合とメトリック学習が性能を顕著に向上させることを示している。著者らはLFW上で訓練された3つの新しいCNNアーキテクチャを提案し、共同ベイジアンメトリック学習を用いて87.63%の精度を達成した。また、完全な再現可能性を実現するため、コードとモデルを公開した。これは顔認識研究における新しい公開ベンチマークを設定した。

ABSTRACT

Deep learning, in particular Convolutional Neural Network (CNN), has achieved promising results in face recognition recently. However, it remains an open question: why CNNs work well and how to design a 'good' architecture. The existing works tend to focus on reporting CNN architectures that work well for face recognition rather than investigate the reason. In this work, we conduct an extensive evaluation of CNN-based face recognition systems (CNN-FRS) on a common ground to make our work easily reproducible. Specifically, we use public database LFW (Labeled Faces in the Wild) to train CNNs, unlike most existing CNNs trained on private databases. We propose three CNN architectures which are the first reported architectures trained using LFW data. This paper quantitatively compares the architectures of CNNs and evaluate the effect of different implementation choices. We identify several useful properties of CNN-FRS. For instance, the dimensionality of the learned features can be significantly reduced without adverse effect on face recognition accuracy. In addition, traditional metric learning method exploiting CNN-learned features is evaluated. Experiments show two crucial factors to good CNN-FRS performance are the fusion of multiple CNNs and metric learning. To make our work reproducible, source code and models will be made publicly available.

研究の動機と目的

• プライベートな訓練データに依存しない偏りのない評価を避けるために、共通のデータセット上でCNNベースの顔認識システム（CNN-FRS）を体系的かつ再現可能に評価すること。
• 深さ、フィルタ数、レイヤー設計といったアーキテクチャ選択が顔認識性能に与える影響を調査すること。
• データオーグメンテーション、入力タイプ（カラー対グレースケール）、類似度メトリクスといった実装要因を評価すること。
• 特徴次元削減とその後のメトリック学習が認識精度に与える影響を定量化すること。
• 公開された訓練済みモデルとソースコードを提供することで、完全に再現可能なベースラインを提供すること。

提案手法

• LFWデータセット上で3つの新しいCNNアーキテクチャを訓練し、モデル間の公平な比較を可能にする。
• 30のパッチ（6つのスケールでのコーナーおよび中央部から抽出）を用いたマルチスケール・マルチクロップのネットワーク統合を実装し、各パッチに対して個別のネットワークを訓練する。
• 16個の最良性能を示した統合ネットワークからの特徴を連結し、強固で高容量な顔表現を構築する。
• 特徴次元を2560から320に削減するための主成分分析（PCA）を実施し、その後に共同ベイジアン（JB）メトリック学習を適用する。
• LFWデータセットの標準的な分割を用いて交差検証を実施し、標準的な顔認識精度メトリクスを用いて性能を評価する。
• 単一ネットワーク、統合ネットワーク、メトリック学習のバリエーション間での結果を比較し、性能向上要因を特定する。

実験結果

リサーチクエスチョン

• RQ1 LFWのような公開データセットで訓練することにより、プライベートデータベースと比較して、CNNベースの顔認識システムの性能と再現可能性にどのような影響を与えるか？
• RQ2 複数のクロップとスケールを用いた場合、ネットワーク統合が顔認識精度に与える定量的影響は何か？
• RQ3 共同ベイジアンのようなメトリック学習は、CNNで学習された特徴の判別力にどの程度向上効果をもたらすか？
• RQ4 CNNで学習された特徴を用いる場合、特徴次元を削減することは認識精度にどのような影響を与えるか？
• RQ5 フィルタ数、深さ、入力タイプといったアーキテクチャ的・実装的選択肢の中で、CNN-FRS性能に最も顕著な影響を与えるのはどれか？

主な発見

• 30のパッチ（複数のスケールおよび領域から抽出）から得た16の最良性能ネットワークの統合により、単一ネットワークに比べ4.51%の精度向上が達成され、83.33%の精度に到達した。
• 複数のCNNの統合は、顔の部品における空間的およびスケール変動を捉えることで、性能を顕著に向上させる。
• PCAで次元削減（2560から320次元）された特徴に共同ベイジアンメトリック学習を適用した結果、LFWの全分割で認識精度が一貫して向上した。
• 最終的なシステムは、ネットワーク統合とメトリック学習を組み合わせることで87.63%の精度を達成し、特徴次元が低くても、いくつかの非商用の最先端手法を上回った。
• 特徴次元を大幅に削減（320次元まで）しても性能が劣化しないため、CNNで学習された表現の高い効率性が示された。
• 公開されたコードとモデルを備えた本手法により、今後の顔認識研究の完全な再現可能なベンチマークが確立された。