[論文レビュー] Face Recognition in Low Quality Images: A Survey

Pei Li, Loreto R. Prieto+2 more|arXiv (Cornell University)|May 29, 2018

Advanced Image Processing Techniques参考文献 135被引用数 47

ひとこと要約

低品質顔認識（LQFR）アプローチ、データセット、課題の包括的調査を提供し、超解像、堅牢な特徴、統一表現、デブラーリング手法を網羅するとともに、人間と機械の性能比較と今後の方向性について議論する。

ABSTRACT

Low-resolution face recognition (LRFR) has received increasing attention over the past few years. Its applications lie widely in the real-world environment when high-resolution or high-quality images are hard to capture. One of the biggest demands for LRFR technologies is video surveillance. As the the number of surveillance cameras in the city increases, the videos that captured will need to be processed automatically. However, those videos or images are usually captured with large standoffs, arbitrary illumination condition, and diverse angles of view. Faces in these images are generally small in size. Several studies addressed this problem employed techniques like super resolution, deblurring, or learning a relationship between different resolution domains. In this paper, we provide a comprehensive review of approaches to low-resolution face recognition in the past five years. First, a general problem definition is given. Later, systematically analysis of the works on this topic is presented by catogory. In addition to describing the methods, we also focus on datasets and experiment settings. We further address the related works on unconstrained low-resolution face recognition and compare them with the result that use synthetic low-resolution data. Finally, we summarized the general limitations and speculate a priorities for the future effort.

研究の動機と目的

• LQFR問題とその劣化プロセスを定義する。
• 既存のLQFRアプローチを系統的に分類・分析する。
• LQFRのデータセット、プロトコル、実験結果を要約する。
• 制限を議論し、将来の研究の優先事項を提案する。

提案手法

• 4つの主要カテゴリを検討する：超解像ベースの手法、低解像度に頑健な特徴、統一表現学習、ぼやけの改善手法。
• 特徴抽出とマッチング前の画像処理手順を、SRとデブラーリングを含めて検討する。
• 実際のLR画像と合成的にダウンサンプリングしたLR画像を区別し、それがFR性能に与える影響を分析する。
• 従来（深層学習以前）と深層学習ベースのLQFR手法を要約する。
• 人間のパフォーマンス研究を強調し、それをLQFRタスクの機械パフォーマンスと比較する。

実験結果

リサーチクエスチョン

• RQ1 低品質の顔画像を生み出す劣化プロセスは何か、そしてそれは認識にどう影響するのか？
• RQ2 probeとgalleryの画像品質や解像度が一致しない場合、認識をどう改善できるか？
• RQ3 LQFRにおける超解像、堅牢な特徴、統一表現の相対的な利点は何か？
• RQ4 LQFR手法を評価するためのデータセットと評価プロトコルは何があるか、そしてそれらの限界は何か？

主な発見

• 入力LR顔が一定のサイズを超えている場合、超解像手法は認識性能を改善できるが、非常に小さい入力では有意な恩恵を得られない場合がある。
• 深層ネットワークやGANを含む学習ベースのSRアプローチは、認識を助ける顔の事前情報を保持・向上させることができる。
• SRプロセスに認識目的を統合する手法（同時にSRと認識を行う）は、クラス間判別を学習する上で有望である。
• 実LR画像はノイズや非理想的劣化など合成LR画像を超える追加の課題をもたらし、SRベースの利得の移転性に影響を与える。
• LQFRにおける人間の性能は解像度が低下し、未知なものが増えると低下し、先進的な機械システムとのギャップと人間-コンピュータ協調の可能性を浮き彫りにしている。
• 幅広いデータセットと評価プロトコルが存在するが、データ不足と品質の多様性がベンチマークの主要な制約であり続ける。