[論文レビュー] Low Resolution Face Recognition in the Wild

Pei Li, Loreto R. Prieto+2 more|arXiv (Cornell University)|May 29, 2018

Face recognition and analysis参考文献 2被引用数 7

ひとこと要約

本論文は、実世界の監視環境における低解像度顔認識に包括的なアプローチを提案し、超解像、GANベースの事前学習、および完全畳み込みネットワークを活用して、SCFace や UCCSface などの困難なデータセットにおける性能を向上させている。深層学習と低品質顔データ向けに特化したアーキテクチャを組み合わせることで、最先端の結果を達成している。

ABSTRACT

Although face recognition systems have achieved impressive performance in recent years, the low-resolution face recognition (LRFR) task remains challenging, especially when the LR faces are captured under non-ideal conditions, as is common in surveillance-based applications. Faces captured in such conditions are often contaminated by blur, nonuniform lighting, and nonfrontal face pose. In this paper, we analyze face recognition techniques using data captured under low-quality conditions in the wild. We provide a comprehensive analysis of experimental results for two of the most important applications in real surveillance applications, and demonstrate practical approaches to handle both cases that show promising performance. The following three contributions are made: {\em (i)} we conduct experiments to evaluate super-resolution methods for low-resolution face recognition; {\em (ii)} we study face re-identification on various public face datasets including real surveillance and low-resolution subsets of large-scale datasets, present a baseline result for several deep learning based approaches, and improve them by introducing a GAN pre-training approach and fully convolutional architecture; and {\em (iii)} we explore low-resolution face identification by employing a state-of-the-art supervised discriminative learning approach. Evaluations are conducted on challenging portions of the SCFace and UCCSface datasets.

研究の動機と目的

• ぼやけ、照明が悪い、正面でない姿勢といった非理想的な監視条件下における低解像度顔認識という持続的な課題に対処する。
• 低品質顔画像の品質向上を目的とした超解像技術の評価と改善を行う。
• 低解像度サブセットを含む公開データセット上で、顔再識別手法のベースラインを確立し、それを向上させる。
• 最先端のモデルを用いて、低解像度顔識別における教師あり判別的学習を検討する。
• 実世界の監視応用に適用可能な実用的で高性能なソリューションを提示する。

提案手法

• 認識の前段階で、低解像度顔画像の品質向上を目的とした超解像手法を適用し、下流モデルの入力品質を向上させる。
• 低解像度データに対する深層顔再識別モデルの特徴学習を向上させるため、GAN 事前学習戦略を導入する。
• 低解像度入力からのエンドツーエンド学習とより良い特徴抽出を可能にする完全畳み込みネットワークアーキテクチャを設計・実装する。
• 実際の監視環境を想定した条件下でモデルを訓練および評価するため、実際の監視データと低解像度サブセットを含む大規模データセットを活用する。
• 強化された特徴表現と教師あり判別的学習を組み合わせることで、低解像度顔認識の正確性を向上させる。
• SCFace および UCCSface データセット上で実験を行い、提案手法の有効性を、困難な実世界の条件下で検証する。

実験結果

リサーチクエスチョン

• RQ1 実世界で撮影された低解像度顔認識において、超解像技術はどれほど認識精度の向上に効果的か？
• RQ2 GANベースの事前学習は、低解像度顔再識別用の深層学習モデルにどれほど効果をもたらすか？
• RQ3 完全畳み込みアーキテクチャは、標準的な CNN と比較して、低解像度顔認識性能にどのように寄与するか？
• RQ4 GAN 事前学習と完全畳み込みネットワークを組み合わせることで、低解像度顔データセットでどの程度の性能向上が達成できるか？
• RQ5 提案手法は、SCFace および UCCSface の困難なサブセットにおいて、既存のベースラインと比較してどの程度優れているか？

主な発見

• 超解像技術は、特に深層学習モデルと組み合わせた場合、低解像度顔認識の性能向上に顕著な効果を示す。
• 提案された GAN 事前学習アプローチは、低解像度データにおける顔再識別精度に測定可能な向上をもたらす。
• 完全畳み込みアーキテクチャは、標準的な畳み込み層と比較して、低解像度入力に対する特徴学習と一般化性能をより良くする。
• GAN 事前学習と完全畳み込みネットワークの組み合わせは、評価された低解像度顔データセットで最先端の性能を達成した。
• 提案手法は、特に SCFace および UCCSface の困難な部分において、頑健さと実用的適用性を示した。