[論文レビュー] FAN: Feature Adaptation Network for Surveillance Face Recognition and Normalization

Xi Yin, Ying Tai+2 more|arXiv (Cornell University)|Nov 26, 2019

Face recognition and analysis参考文献 62被引用数 10

ひとこと要約

本稿では、顔の識別と非識別特徴を分離することで、ペアデータおよび非ペアデータの両方を用いた学習を可能にする、特徴適応ネットワーク（FAN）を提案する。FANは、特徴の分離学習とランダムスケール増強を活用することで、可変解像度入力に対する耐性を高め、SCface、WIDER FACE、QUML-SurvFaceの各ベンチマークで最先端の性能を達成した。

ABSTRACT

This paper studies face recognition (FR) and normalization in surveillance imagery. Surveillance FR is a challenging problem that has great values in law enforcement. Despite recent progress in conventional FR, less effort has been devoted to surveillance FR. To bridge this gap, we propose a Feature Adaptation Network (FAN) to jointly perform surveillance FR and normalization. Our face normalization mainly acts on the aspect of image resolution, closely related to face super-resolution. However, previous face super-resolution methods require paired training data with pixel-to-pixel correspondence, which is typically unavailable between real-world low-resolution and high-resolution faces. FAN can leverage both paired and unpaired data as we disentangle the features into identity and non-identity components and adapt the distribution of the identity features, which breaks the limit of current face super-resolution methods. We further propose a random scale augmentation scheme to learn resolution robust identity features, with advantages over previous fixed scale augmentation. Extensive experiments on LFW, WIDER FACE, QUML-SurvFace and SCface datasets have shown the effectiveness of our method on surveillance FR and normalization.

研究の動機と目的

• 顔の識別が重要な低解像度で制約のない画像における監視用顔認識と正規化の課題に対処すること。
• ピixe レベルの対応が必要な従来の顔超解像法の限界を克服すること。
• ペアデータおよび非ペアデータの両方を用いて、顔認識と正規化の統合的学習を可能にし、解像度の変動に対する耐性を高めること。
• 顔の詳細を向上させつつ、識別性を保持し、ポーズ、照明、表情の変動を軽減する手法を開発すること。
• 監視環境における未知で多様な入力解像度に一般化できるようにするための、新しいランダムスケール増強（RSA）戦略を導入すること。

提案手法

• FANは二段階のフレームワークを採用する。まず、エンコーダ・デコーダ構造を用いて、高解像度画像から識別特徴と非識別特徴を分離する特徴の分離学習を実施する。
• 第二に、分離された特徴空間において、低解像度および高解像度エンコーダ間の識別特徴の分布を一致させることで、非ペアデータを用いた学習を可能にする特徴適応を実行する。
• 識別性の保持と認識精度の向上を目的として、特徴レベルおよび画像レベルの類似性正則化を用いる。
• 訓練中に多様な低解像度入力を生成するための、新規のランダムスケール増強（RSA）戦略を採用し、監視データにおける未知の解像度変動に対する耐性を高める。
• 再構成損失、識別分類損失、特徴分布一致損失の組み合わせにより、エンド・トゥ・エンドでモデルを訓練する。
• デコーダは低解像度特徴から高解像度顔画像を再構成し、視覚的に向上した、識別性を保持した出力を生成する。

実験結果

リサーチクエスチョン

• RQ1 ペアデータを必要としない統合的フレームワークにより、監視画像における顔認識と正規化を同時に向上させることができるか？
• RQ2 ポーズ、照明などの非識別要因から識別特徴を分離することで、低解像度環境下での認識耐性を向上させることができるか？
• RQ3 ランダムスケール増強戦略が、監視顔認識における未知で多様な入力解像度への一般化をどの程度向上させるか？
• RQ4 分離された識別特徴空間における特徴適応により、従来の顔超解像法の限界を克服し、非ペアデータからの有効な学習が可能になるか？
• RQ5 認識精度および正規化された顔画像の視覚的品質の両面で、本手法は最先端の手法と比較してどのように優れているか？

主な発見

• FANはSCfaceテストセットにおいて90.3%のランク1認識性能を達成し、すべての非微調整ベースラインを上回り、テスト時における解像度情報がなくてもDCRを上回った。
• SCface学習セットでの微調整にRSAを適用したFANは、90.3%のランク1認識精度を達成し、低品質な監視入力への強力な一般化能力を示した。
• アブレーションスタディの結果、デコーダ（Dec）を削除すると性能が低下し、正規化と認識の統合的学習が特徴学習を向上させることを確認した。
• RSA戦略はモデルの耐性を顕著に向上させ、FAN-FT（RSA有効）とFAN-FT（RSA無効）を比較したところ、ランク1認識精度が4.1%向上した。
• FANは、SCfaceおよびWIDER FACEにおける定性的比較により、低解像度入力から高品質で識別性を保持した顔画像を生成できることを検証した。SOTAのFSR手法よりも顔の詳細回復が優れていた。
• FANの推論速度（Titan X GPU上）は、特徴抽出に0.011秒、画像回復に0.005秒であり、FSRNet（0.012秒）と同等で、CBN（3.84秒）よりも顕著に高速であるため、リアルタイム監視応用に適している。