[論文レビュー] Verification of Very Low-Resolution Faces Using An Identity-Preserving Deep Face Super-Resolution Network

Esra Ataer Cansizoglu, M. G. K. Jones+2 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Image Processing Techniques参考文献 36被引用数 13

ひとこと要約

本稿では、顔認識性能を向上させるために、6×6ピクセル程度の極めて低解像度の顔画像を高解像度に復元する、アイデンティティを保持する深層顔認識スーパーレゾリューションネットワークを提案する。事前に訓練されたVGG顔記述子を用いて、スーパーレゾリューション画像とその高解像度の正解画像との間の特徴距離を最小化するようにネットワークを訓練することで、従来のスーパーレゾリューション手法に比べて顔認識の精度が著しく向上し、特に8倍の高倍率拡大において顕著な効果を示す。

ABSTRACT

Face super-resolution methods usually aim at producing visually appealing results rather than preserving distinctive features for further face identification. In this work, we propose a deep learning method for face verification on very low-resolution face images that involves identity-preserving face super-resolution. Our framework includes a super-resolution network and a feature extraction network. We train a VGG-based deep face recognition network (Parkhi et al. 2015) to be used as feature extractor. Our super-resolution network is trained to minimize the feature distance between the high resolution ground truth image and the super-resolved image, where features are extracted using our pre-trained feature extraction network. We carry out experiments on FRGC, Multi-PIE, LFW-a, and MegaFace datasets to evaluate our method in controlled and uncontrolled settings. The results show that the presented method outperforms conventional super-resolution methods in low-resolution face verification.

研究の動機と目的

• 従来の認識手法が詳細不足のため失敗する、極めて低解像度の画像における顔認識の課題に対処すること。
• 視覚的品質に依存するのではなく、スーパーレゾリューションによる低解像度顔画像の強化を通じて顔認識性能を向上させること。
• 視覚的外観の最適化ではなく、識別可能なアイデンティティ特徴を保持するスーパーレゾリューションフレームワークを開発すること。
• 低解像度顔認識において、画像空間の損失と比較して特徴空間の損失が果たす役割の有効性を評価すること。

提案手法

• 事前に訓練されたVGGベースの深層顔認識ネットワークを用い、固定された特徴抽出器として顔記述子を計算する。
• スーパーレゾリューションネットワークを、スーパーレゾリューション画像の顔記述子と高解像度正解画像の顔記述子との間のL2距離を最小化するように訓練する。
• 損失関数は画素空間ではなく特徴空間で定義されており、アイデンティティに配慮し、顔認識性能の最適化が行われる。
• 特徴抽出器とスーパーレゾリューション生成器が交互に学習されるジョイントトレーニング戦略を採用しており、エンドツーエンドではない。
• 複数のデータセット（FRGC、Multi-PIE、LFW-a、MegaFace）を用い、制御下および制御外の両条件でフレームワークを評価する。
• ピクセルレベルの再構成やSSIMに偏りすぎないよう、視覚的外観への過剰適合を避けるために、特徴類似度を優先する。

実験結果

リサーチクエスチョン

• RQ1 低解像度入力と高解像度正解との間の特徴空間距離を最小化するように訓練されたスーパーレゾリューションネットワークは、標準的なスーパーレゾリューション手法に比べて顔認識精度を向上させることができるか？
• RQ2 VGGベースの顔記述子を監視信号として用いることで、低解像度顔認識におけるスーパーレゾリューションのアイデンティティ保持性にどのような影響を与えるか？
• RQ3 再構成損失、SSIM損失、認識損失、および統合損失の各損失関数が、認識性能向上に果たす相対的寄与度は何か？
• RQ4 本手法は、極度の解像度劣化が生じる制御外環境（屋外）でも、従来のスーパーレゾリューション技術を上回る性能を示すか？
• RQ5 スーパーレゾリューション画像における照明アーチファクトの低減が、顔認識精度の向上にどの程度寄与するか？

主な発見

• 提案手法は、FRGC、Multi-PIE、LFW-a、MegaFaceデータセットにおいて、従来のスーパーレゾリューション手法（例：bicubic、SRCNN、VDSR、MZQ、URDGN）に比べ顔認識精度が著しく優れている。
• 再構成損失やSSIM損失に比べ、認識に基づく損失のみを用いたスーパーレゾリューションでも、顔認識性能が向上しており、視覚的質感は劣るが効果的である。
• 本手法は、スーパーレゾリューション画像における照明アーチファクトを効果的に低減しており、制御外環境における顔認識精度の向上に寄与している。
• 特徴空間損失を用いることで、アイデンティティ認識に重要な眼や鼻などの顔の主要特徴がよりよく保持されている。
• 8倍拡大における低解像度顔認識分野で、本手法は最先端の性能を達成しており、アイデンティティに配慮したスーパーレゾリューションの有効性を示している。
• 視覚的品質指標（例：PSNR）は顔認識性能の良い代理指標ではないことが明らかであり、特徴空間類似度がより適切な評価指標であることが示された。