[論文レビュー] FH-GAN: Face Hallucination and Recognition using Generative Adversarial Network

Bayram Bayramli, Usman Ali+2 more|arXiv (Cornell University)|May 16, 2019

Advanced Image Processing Techniques参考文献 28被引用数 4

ひとこと要約

本稿では、顔認識性能を向上させるために、低解像度顔画像の品質向上とアイデンティティ情報の保持を同時に実現するエンドツーエンドの生成的対抗ネットワーク、FH-GANを提案する。アイデンティティ損失を介して事前学習済み顔認識ネットワークを監視信号として統合し、新規のDense Sparse Network（DSNet）生成器を導入することで、顔のハルーシュレーションおよび顔認識の両面で最先端の性能を達成した。LFWでは99.16%、CFPでは93.36%の精度を達成し、実際の高解像度画像に非常に近い結果を示した。

ABSTRACT

There are many factors affecting visual face recognition, such as low resolution images, aging, illumination and pose variance, etc. One of the most important problem is low resolution face images which can result in bad performance on face recognition. Most of the general face recognition algorithms usually assume a sufficient resolution for the face images. However, in practice many applications often do not have sufficient image resolutions. The modern face hallucination models demonstrate reasonable performance to reconstruct high-resolution images from its corresponding low resolution images. However, they do not consider identity level information during hallucination which directly affects results of the recognition of low resolution faces. To address this issue, we propose a Face Hallucination Generative Adversarial Network (FH-GAN) which improves the quality of low resolution face images and accurately recognize those low quality images. Concretely, we make the following contributions: 1) we propose FH-GAN network, an end-to-end system, that improves both face hallucination and face recognition simultaneously. The novelty of this proposed network depends on incorporating identity information in a GAN-based face hallucination algorithm via combining a face recognition network for identity preserving. 2) We also propose a new face hallucination network, namely Dense Sparse Network (DSNet), which improves upon the state-of-art in face hallucination. 3) We demonstrate benefits of training the face recognition and GAN-based DSNet jointly by reporting good result on face hallucination and recognition.

研究の動機と目的

• 顔認識性能が顕著に低下する低解像度画像におけるアイデンティティ情報の喪失に起因する課題に対処すること。
• ハルーシュレーション中にアイデンティティを無視する既存の超解像化手法の限界を克服すること。
• 画像品質の向上と顔認識に適したアイデンティティの保持を同時に実現するエンドツーエンドフレームワークの構築。
• 事前学習済み顔認識モデルからの顔レベルの監視信号を統合することで、顔のハルーシュレーションを改善すること。
• ハルーシュレーションと顔認識ネットワークの共同学習が、個別に学習する場合よりも優れた結果をもたらすことを実証すること。

提案手法

• 特徴の流れを向上させるとともに勾配消失を軽減するため、スパarsely集約されたスキップ接続を用いた、新規の生成器アーキテクチャであるDense Sparse Network（DSNet）を提案する。
• アイデンティティの保持を促進するため、顔認識ネットワークを監視信号として統合し、アイデンティティ損失関数を介してハルーシュレーション中に制御する。
• 訓練の安定化と画像品質の向上を図るため、勾配ペナルティ（GP）を用いたWasserstein GAN（WGAN）を採用する。
• ハルーシュレーションの監視に、ピクセルレベルの損失（L1）と事前学習済み認識ネットワークからの特徴レベル損失を組み合わせる。
• 生成器が高解像度顔画像を生成し、識別器が本物とハルーシュレートされた画像を区別し、顔認識ネットワークがアイデンティティフィードバックを提供する形で、システム全体をエンドツーエンドで学習する。
• 効率的なスケーリングを実現するため、サブピクセル畳み込み層を活用し、補間アーチファクトを回避する。

実験結果

リサーチクエスチョン

• RQ1 顔のハルーシュレーションと顔認識ネットワークの共同学習は、超解像化された顔画像におけるアイデンティティの保持を改善できるか？
• RQ2 顔認識ネットワークからの顔レベルの監視信号を統合することで、ハルーシュレーション品質と顔認識精度にどのような影響を与えるか？
• RQ3 スパースに集約されたスキップ接続構造（DSNet）は、顔のハルーシュレーションにおいて、標準的な密集接続や残差接続を上回る性能を示すか？
• RQ4 アイデンティティ損失を用いたGANベースのハルーシュレーションは、実際の高解像度顔認識性能にどの程度近づけるか？
• RQ5 知覚的損失とアイデンティティベースの損失は、顔のアイデンティティを保存する超解像化において、標準的なピクセル単位の損失と比較して優れているか？

主な発見

• FH-GANはLFWデータセットで99.16%の顔認証精度を達成し、SRGAN、RDN、SRDenseNetを含む比較手法すべてを上回った。
• CFPデータセットでは93.36%の精度に達し、実際の高解像度画像の95.05%に非常に近い結果を示した。
• アイデンティティ損失の導入により、LFWにおける顔認識精度が99.00%から99.14%に向上し、アイデンティティ保持の有効性が裏付けられた。
• 視覚的結果では、双線形補間、SRGAN、RDNと比較して、FH-GANはよりシャープで現実的であり、アーチファクトが少ない顔画像を生成した。
• PSNRとSSIMの値がそれぞれ21.35および0.83であり、定量的評価では優れた性能を示したが、視覚的品質はこれらの指標が示すよりも優れていることが判明した。
• 失敗事例は主に大規模な遮蔽や複数顔の状況で発生し、アイデンティティは保持されているが画像品質が低下する傾向にあり、今後の改善の余地があることが示された。