[論文レビュー] Leveraging Billions of Faces to Overcome Performance Barriers in Unconstrained Face Recognition

Yaniv Taigman, Lior Wolf|arXiv (Cornell University)|Aug 4, 2011

Face recognition and analysis参考文献 10被引用数 41

ひとこと要約

本論文は、face.comのデータベースに収録された数百億枚の顔画像を活用した顔認識システムを提示する。このシステムは、データセット特化的なチューニングを一切行わずに、LFWベンチマークで最先端の性能を達成した。リアルタイムの3次元顔再構築によりポーズや照明の正規化を実現し、大規模データで学習された判別モデルを組み合わせることで、91.3%の正確性と、0%の偽陽性率におけるリコールのほぼ2倍（55.2%）を達成した。これは、最も慎重な性能評価範囲において、先行研究を大きく上回った。

ABSTRACT

We employ the face recognition technology developed in house at face.com to a well accepted benchmark and show that without any tuning we are able to considerably surpass state of the art results. Much of the improvement is concentrated in the high-valued performance point of zero false positive matches, where the obtained recall rate almost doubles the best reported result to date. We discuss the various components and innovations of our system that enable this significant performance gap. These components include extensive utilization of an accurate 3D reconstructed shape model dealing with challenges arising from pose and illumination. In addition, discriminative models based on billions of faces are used in order to overcome aging and facial expression as well as low light and overexposure. Finally, we identify a challenging set of identification queries that might provide useful focus for future research.

研究の動機と目的

• 制約のない顔認識における性能の壁、特に極端なポーズ、照明、加齢、表情の変化に対する課題を克服すること。
• 大規模データと高度な3次元モデリングが、データセット特化的なチューニングなしに顔認識の正確性を顕著に向上させられることを示すこと。
• 誤分類されたペアの困難なサブセットを同定・公開し、今後の研究が困難な認識ケースに焦点を当てるのを支援すること。
• 0%の偽陽性率におけるリコールをほぼ2倍に高めるという新たなベンチマークを確立し、高精度顔認識の基準を提示すること。

提案手法

• 310億枚の顔画像でトレーニングされたリアルタイム3次元顔再構築エンジンを活用し、単一の制約のない画像から正確な3次元モデルを生成する。
• 3次元ベースの正規化を適用して、非正面および照明が不十分な画像を一貫した照明条件の正面ビューに変換する。
• 数千万枚の顔例でトレーニングされた非パラメトリックな判別モデルを用い、加齢、表情、照明の変化に対して不変な特徴を学習する。
• 大規模な顔リポジトリからエグジンプラベースの特徴学習を実施し、プローブの分類および人種や年齢などの属性推定を実現する。
• 3次元モデルの回転によるビュー正規化を適用し、2次元画像の変形に依存せずにポーズのばらつきを排除する。
• 推定された照明パラメータを用いて3次元モデルの再照明化を実施し、画像間で照明条件を標準化する。

実験結果

リサーチクエスチョン

• RQ1 数百億枚の制約のない顔画像でトレーニングされた顔認識システムが、データセット特化的なチューニングなしにLFWで最先端の性能を達成できるか？
• RQ2 3次元顔再構築は、制約のない顔認識においてポーズや照明のばらつきをどれほど効果的に軽減できるか？
• RQ3 大規模データセットでトレーニングされた判別モデルは、加齢や表情の変化に対してどの程度不変性を学習できるか？
• RQ4 高性能なシステムですら困難であるとされる顔認識の最も困難なケースは何か？
• RQ5 注意深く選別されたハードネガティブペアのリストは、今後の研究が最も根強い失敗モードに焦点を当てるのを支援できるか？

主な発見

• システムは、制約のないLFWベンチマークで平均91.3% ± 0.3の正確性を達成し、これまでに報告されたすべての結果を上回った。
• 偽陽性率が0%の状態で、真正陽性率（リコール）が55%以上に達し、この保守的な性能範囲において、最も優れた先行結果のほぼ2倍にまで向上した。
• システムはLFWデータセットに存在するラベルミスを特定し、以前は誤ってラベル付けされていた2人の「Jim O’Brien」を正しく区別した。
• システムの性能差は、偽陽性率が低い領域で最も顕著であり、高セキュリティな応用分野における強いロバスト性を示している。
• 6,000件の類似度スコアと誤分類ペアのサブセットの公開により、制約のない顔認識における困難なケースを研究する貴重なリソースが得られた。
• 3次元再構築エンジンは、低解像度の制約のない画像からでも正確なポーズ補正と照明正規化を実現でき、図2〜5でその有効性が示された。