[論文レビュー] Surveillance Face Recognition Challenge

Zhiyi Cheng, Xiatian Zhu+1 more|arXiv (Cornell University)|Apr 25, 2018

Face recognition and analysis参考文献 15被引用数 58

ひとこと要約

本論文は QMUL-SurvFace を紹介し、 native の低解像度監視顔認識ベンチマークとして最大規模を示し、五つの深層 FR モデルをベンチマークし、ウェブベースのベンチマークとの大きなギャップを明らかにし、超解像の統合を検討する。

ABSTRACT

Face recognition (FR) is one of the most extensively investigated problems in computer vision. Significant progress in FR has been made due to the recent introduction of the larger scale FR challenges, particularly with constrained social media web images, e.g. high-resolution photos of celebrity faces taken by professional photo-journalists. However, the more challenging FR in unconstrained and low-resolution surveillance images remains largely under-studied. To facilitate more studies on developing FR models that are effective and robust for low-resolution surveillance facial images, we introduce a new Surveillance Face Recognition Challenge, which we call the QMUL-SurvFace benchmark. This new benchmark is the largest and more importantly the only true surveillance FR benchmark to our best knowledge, where low-resolution images are not synthesised by artificial down-sampling of native high-resolution images. This challenge contains 463,507 face images of 15,573 distinct identities captured in real-world uncooperative surveillance scenes over wide space and time. As a consequence, it presents an extremely challenging FR benchmark. We benchmark the FR performance on this challenge using five representative deep learning face recognition models, in comparison to existing benchmarks. We show that the current state of the arts are still far from being satisfactory to tackle the under-investigated surveillance FR problem in practical forensic scenarios. Face recognition is generally more difficult in an open-set setting which is typical for surveillance scenarios, owing to a large number of non-target people (distractors) appearing open spaced scenes. This is evidently so that on the new Surveillance FR Challenge, the top-performing CentreFace deep learning FR model on the MegaFace benchmark can now only achieve 13.2% success rate (at Rank-20) at a 10% false alarm rate.

研究の動機と目的

• ネイティブの低解像度監視データにおける顔認識の難しさを動機づけ、定量化する。
• 現実的なオープンセット評価を備えた大規模な複数地点監視FRベンチマークを構築する。
• 監視シナリオにおける識別と検証のための代表的な深層 FR モデルをベンチマークする。
• 低解像度の監視 FR パフォーマンスに対する画像超解像の影響を調査する。
• 監視顔認識を前進させるための未解決の研究方向を議論する。

提案手法

• QMUL-SurvFace を 17 の公開データセットから組み立て、463,507 の native, low-resolution 顔画像を 15,573 IDs に作成する。
• オープンセット評価を支援するクロスビューIDラベルを注釈付けする。
• 5つの代表的な深層 FR モデル（DeepID2, CentreFace, VggFace, FaceNet, SphereFace）を、閉集合および開集合設定の識別と検証の両方について評価する。
• ウェブベースのベンチマーク（MegaFace, UCCS）と FR パフォーマンスを比較して、ドメインのギャップを浮き彫りにする。
• 独立トレーニングと結合トレーニングを含む、画像超解像と FR モデルの組み合わせを探索し、LR FR の利得を評価する。
• 監視 FR の改善における現在の SR 手法の限界を分析し、今後の研究方向を議論する。

実験結果

リサーチクエスチョン

• RQ1 ウェブデータで訓練された最先端の深層 FR モデルは、ネイティブの低解像度監視画像にどれだけ一般化するか？
• RQ2 オープンセット認識における監視 FR とウェブベースのベンチマークとのパフォーマンス格差はどの程度か？
• RQ3 画像超解像技術は低解像度の監視 FR パフォーマンスを意味のあるほど改善するか？
• RQ4 監視環境における SR と FR モデルを組み合わせる効果的な戦略は何か？
• RQ5 監視顔認識を前進させる上で最も重要な未解決の研究方向は何か？

主な発見

• CentreFace は QMUL-SurvFace で Rank-1 29.9% を達成し、クローズドセット試験では MegaFace の 65.2% に大きく及ばない。
• QMUL-SurvFace のオープンセット FR は依然として著しく困難で、CentreFace は Rank-20 で 13.8%、FAR 10% で到達。
• ネイティブ監視 FR（QMUL-SurvFace）とウェブベースのベンチマーク（MegaFace）の間には驚くほど大きな性能差がある。
• 現在の超解像手法は監視データの低解像度 FR パフォーマンスを信頼性高く改善しない。
• SR と FR モデルを組み合わせても得られる利得は限定的で、ピクセルレベルの復元を超えたドメイン固有の課題を示唆する。
• 本論文は native 監視 FR の課題に対処する多くの未解決の研究方向を強調している。