[論文レビュー] Naive-Deep Face Recognition: Touching the Limit of LFW Benchmark or Not?

Erjin Zhou, Zhimin Cao+1 more|arXiv (Cornell University)|Jan 20, 2015

Face recognition and analysis参考文献 13被引用数 194

ひとこと要約

この論文は、500万枚の画像、2万人の人物から構成される大規模なウェブ収集顔データセットで学習された単純なディーブスコンvolutionニューラルネットワークを提示しており、LFWベンチマークで99.50%の正確性を達成した。これは人間の水準を超える。しかし、この高い正確性にもかかわらず、CHIDセキュリティベンチマークのような実世界の応用では、10⁻⁵の誤検出率（FPR）における真正陽性率がたった66%にとどまり、データバイアス、極めて低いFPR要件、年齢やポーズの変化といったクロス要因による深刻なギャップが明らかになった。

ABSTRACT

Face recognition performance improves rapidly with the recent deep learning technique developing and underlying large training dataset accumulating. In this paper, we report our observations on how big data impacts the recognition performance. According to these observations, we build our Megvii Face Recognition System, which achieves 99.50% accuracy on the LFW benchmark, outperforming the previous state-of-the-art. Furthermore, we report the performance in a real-world security certification scenario. There still exists a clear gap between machine recognition and human performance. We summarize our experiments and present three challenges lying ahead in recent face recognition. And we indicate several possible solutions towards these challenges. We hope our work will stimulate the community's discussion of the difference between research benchmark and real-world applications.

研究の動機と目的

• 大規模なウェブ収集データが顔認識性能に与える影響を調査すること。
• 最先端のLFW性能が実世界の応用にどのように対応できるかを評価すること。
• 標準ベンチマークをはるかに超える実世界の展開における主な課題を同定すること。
• セキュリティ認証のような実世界のシナリオにおける耐性を高めるためのデータ中心の解決策を提案すること。

提案手法

• メイビーアイ（Megvii）顔分類（MFC）データベース上で、マルチクラス分類用にソフトマックス出力層を備えた10層の単純なディーブスコンボリューショナルニューラルネットワークを構築した。
• ソフトマックスの直前の最終隠れ層を顔埋め込みとして使用し、次に次元削減のための主成分分析（PCA）を適用した。
• 埋め込み間のL2距離を用いて顔の類似度を測定した。
• 顔の長尾分布が顕著な500万枚のラベル付き有名人顔のウェブベースデータセットを収集・整備した。
• 特に低誤検出率を想定した実世界のセキュリティ制約下での性能評価を目的として、中国ID（CHID）ベンチマークを導入した。
• 失敗事例における人間の評価を実施し、厳密なFPR条件下での機械と人間の認識性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 ウェブ収集データの規模と分布は、顔認識性能にどのように影響するか？
• RQ2 高いLFW正確性が実世界の応用性能とどの程度相関しているか？
• RQ3 最先端の顔認識システムが実世界での展開に失敗する主な要因は何か？
• RQ4 年齢の変化、ポーズ、遮蔽といったクロス要因は、ドメイン特化された設定におけるシステム性能にどのように影響するか？

主な発見

• 500万枚のウェブ収集顔データで学習した単純なディープラーニングモデルが、LFWベンチマークで99.50%の正確性を達成し、人間の水準を超えた。
• LFWでの高い正確性にもかかわらず、CHIDベンチマークでは10⁻⁵の誤検出率における真正陽性率がたった66%にとどまり、実世界のセキュリティ応用における顕著な性能ギャップが示された。
• 失敗事例における人間評価では、90%の失敗が人間によって解決可能であったため、実世界のシナリオでは機械認識が人間の水準にまだ大きく劣っていることが証明された。
• ウェブ収集データの長尾分布（大多数の人物が少数のトレーニングサンプルしか持たない）が、標準的なマルチクラス分類フレームワークにおける認識性能を顕著に制限している。
• 年齢の変化、特に個人内および個人間の変化は、CHIDベンチマークにおける主な失敗要因であった。これは、訓練データにそのようなデータが欠落していたためである。
• モデルアンサンブルや共同学習といった高度な技術は、トレーニングデータサイズが増加するにつれて効果が薄れ、データ規模がアーキテクチャの複雑さよりもはるかに大きな影響を持つことが示唆された。