[論文レビュー] Low-Resolution Face Recognition

Zhiyi Cheng, Xiatian Zhu+1 more|arXiv (Cornell University)|Nov 21, 2018

Advanced Image Processing Techniques参考文献 47被引用数 6

ひとこと要約

本論文は、低解像度顔認識（LRFR）のための、新規の補完的スーパーレゾリューションとアイデンティティ（CSRI）を統合したディーブラーニングフレームワークを提案する。この手法は、エンドツーエンドの学習により、顔の細部を同時に強化し、アイデンティティの識別能を向上させる。新しく導入された大規模なTinyFaceベンチマークにおいて、本手法は最先端のモデルを著しく上回り、ネイティブな低解像度画像で44.8%のRank-1正答率を達成した。これは、次に優れたモデルと比較して12.7%の向上であり、実世界の低解像度データを用いたテストにおいて、既存のFRモデルに顕著な性能格差が生じていることを示している。

ABSTRACT

Many face recognition approaches expect the input images to have similar image resolution. However, in real-world applications, the image resolution varies due to different image capture mechanisms or sources, affecting the performance of face recognition systems. This work first analyzes the image resolution susceptibility of modern face recognition. Face verification on the very popular LFW dataset drops from 99.23% accuracy to almost 55% when image dimensions of both images are reduced to arguable very poor resolution. With cross-resolution image pairs (one HR and one LR image), face verification accuracy is even worse. This characteristic is investigated more in-depth by analyzing the feature distances utilized for face verification. To increase the robustness, we propose two training strategies applied to a state-of-the-art face recognition model: 1) Training with 50% low resolution images within each batch and 2) using the cosine distance loss between high and low resolution features in a siamese network structure. Both methods significantly boost face verification accuracy for matching training and testing image resolutions. Training a network with different resolutions simultaneously instead of adding only one specific low resolution showed improvements across all resolutions and made a single model applicable to unknown resolutions. However, models trained for one particular low resolution perform better when using the exact resolution for testing. We improve the face verification accuracy from 96.86% to 97.72% on the popular LFW database with uniformly distributed image dimensions between 112 × 112 px and 5 × 5 px. Our approaches improve face verification accuracy even more from 77.56% to 87.17% for distributions focusing on lower images resolutions. Lastly, we propose specific image dimension sets focusing on high, mid, and low resolution for five well-known datasets to benchmark face verification accuracy in cross-resolution scenarios.

研究の動機と目的

• 監視や非制約的環境で一般的に見られるネイティブな低解像度（LR）画像における顔認識の顕著な性能格差を是正すること。既存のベンチマークでは、このようなデータが十分に検討されていない。
• 低解像度顔認識（LRFR）における一般化性能を向上させるために、スーパーレゾリューションとアイデンティティ認識を統合的に最適化する統一されたディープラーニングフレームワークの開発。
• 169,403枚のネイティブな低解像度顔画像（20×16ピクセル）を含み、多様な実世界の状況から収集された大規模かつ現実的なベンチマーク「TinyFace」の構築。これにより、LRFR手法の厳密な評価が可能となる。
• 既存の最先端FRモデルが、ネイティブな低解像度データを用いてテストされた場合に顕著に性能が低下することを示し、人工的にダウンサンプリングされたデータや高解像度ベンチマークとは対照的である。
• 別個のスーパーレゾリューションパイプラインは、ノイズやアーティファクトの影響によりFR性能を損なうため、補完的学習による統合的学習が、強固なLRFRに不可欠であることを示す。

提案手法

• スーパーレゾリューションとアイデンティティ認識を同時に学習できるエンドツーエンドのディープニューラルネットワークアーキテクチャを提案。画像強調処理と特徴抽出の両立が可能になる。
• 補完的スーパーレゾリューション（CSR）学習を導入。高品質なHRウェブ画像から得たスーパーレゾリューションの知識を、ネイティブなLR顔画像へと転送する。アイデンティティ制約付きミニバッチ学習により、ペアドHR-LRデータの欠如を補う。
• 二重ブランチネットワークを採用：一方のブランチはLR顔のスーパーレゾリューションを実行し、他方のブランチはアイデンティティ分類を実行。共通の特徴抽出とエンドツーエンドのバックプロパゲーションを実現。
• アイデンティティ分類損失（交差エントロピー）とスーパーレゾリューション損失（例：知覚的損失またはL1損失）を組み合わせた損失関数を採用。両タスクの共同最適化を実現。
• データオーグメンテーションとアイデンティティに配慮したサンプリングをミニバッチ内で実施。これにより、スーパーレゾリューションがアイデンティティの一貫性に基づいて誘導され、特徴品質と認識精度が向上。
• 初期のSR学習のために合成LRデータ（CelebAから生成）を用い、その後TinyFaceデータセットで微調整することで、アイデンティティ固有の適応を実現。

実験結果

リサーチクエスチョン

• RQ1 最先端の顔認識モデルは、実世界の非制約的環境から得たネイティブな低解像度顔画像において、高解像度ベンチマークでの性能と比較して、どの程度の性能を示すか？
• RQ2 スーパーレゾリューションとアイデンティティ認識を統合的に学習することで、別々に処理する場合と比較して、ネイティブな低解像度画像における顔認識の正確性が向上するか？
• RQ3 補完的スーパーレゾリューション学習（HR画像から得た知識をネイティブなLR顔画像へ転送）が、認識性能に与える影響は何か？
• RQ4 既存のスーパーレゾリューションおよび顔認識モデルは、大規模かつ現実的なネイティブな低解像度ベンチマーク（例：TinyFace）で評価された場合、どの程度の性能低下を示すか？
• RQ5 スーパーレゾリューションを事前処理ステップとして適用することは、ネイティブな低解像度画像における顔認識に有益か、それとも有害か？

主な発見

• 提案されたCSRIモデルは、TinyFaceベンチマークで44.8%のRank-1認識正答率を達成。これは、次に優れたモデル（CentreFace、32.1%）と比較して12.7%の絶対的向上を示している。
• 最先端のFRモデルは、TinyFace（32.1% Rank-1）でテストされた場合、MegaFace（65.2% Rank-1）と比較して50%以上の性能低下を示しており、実世界への適用可能性に顕著な格差が存在することが明らかになった。
• SR-FRの統合学習により、独立学習と比較してRank-1正答率が10.1%（26.0% → 36.1%）向上した。エンドツーエンド最適化の有効性が裏付けられた。
• 補完的スーパーレゾリューション学習により、性能が8.7%（36.1% → 44.8% Rank-1）向上し、HRの知識をネイティブなLRデータに効果的に転送できることを確認した。
• 別個のスーパーレゾリューション処理（例：SRCNN、VDSR）を事前処理として適用すると、ノイズやアーティファクトの影響によりFR性能が低下し、バイキュービックアップスケーリングのベースラインでさえも下回った。
• 169,403枚のネイティブな低解像度顔画像（20×16ピクセル）を含み、5,139人のアイデンティティを有するTinyFaceデータセットは、現実的で挑戦的なベンチマークを提供し、現在のFRモデルが実世界の低解像度データに対して抱える限界を明らかにした。