[論文レビュー] Generative Adversarial Network-based Synthesis of Visible Faces from Polarimetric Thermal Faces

He Zhang, Vishal M. Patel+2 more|arXiv (Cornell University)|Aug 8, 2017

Face recognition and analysis参考文献 28被引用数 34

ひとこと要約

本論文では、可視特徴抽出と画像再構築を同時に最適化することで、偏光熱画像から写真のようにリアルな可視顔画像を合成するGANベースの手法、GAN-VFSを提案する。ガイドランスブネットワークを統合し、アイデンティティ損失と知覚的損失を組み合わせることで、実際の偏光可視データセットにおいて、画像品質および顔認識精度の両面で最先端の性能を達成した。

ABSTRACT

The large domain discrepancy between faces captured in polarimetric (or conventional) thermal and visible domain makes cross-domain face recognition quite a challenging problem for both human-examiners and computer vision algorithms. Previous approaches utilize a two-step procedure (visible feature estimation and visible image reconstruction) to synthesize the visible image given the corresponding polarimetric thermal image. However, these are regarded as two disjoint steps and hence may hinder the performance of visible face reconstruction. We argue that joint optimization would be a better way to reconstruct more photo-realistic images for both computer vision algorithms and human-examiners to examine. To this end, this paper proposes a Generative Adversarial Network-based Visible Face Synthesis (GAN-VFS) method to synthesize more photo-realistic visible face images from their corresponding polarimetric images. To ensure that the encoded visible-features contain more semantically meaningful information in reconstructing the visible face image, a guidance sub-network is involved into the training procedure. To achieve photo realistic property while preserving discriminative characteristics for the reconstructed outputs, an identity loss combined with the perceptual loss are optimized in the framework. Multiple experiments evaluated on different experimental protocols demonstrate that the proposed method achieves state-of-the-art performance.

研究の動機と目的

• 偏光熱顔画像と可視顔画像の間の大きなドメインギャップに対処すること。これは、クロスドメイン顔認識を妨げる要因である。
• 特徴抽出と画像再構築を別々に最適化する従来の2段階的手法の限界を克服すること。
• 人間の鑑別者およびコンピュータビジョンシステムの両方にとって、合成された可視顔のリアルさと識別性を向上させること。
• 生成的敵対ネットワークを用いた統合最適化フレームワークを開発し、再構築の正確性と意味的整合性を向上させること。

提案手法

• 本手法は、生成的敵対ネットワーク（GAN）フレームワークを採用し、可視特徴抽出と画像再構築を同時に最適化する生成器を用いる。
• 抽出された可視特徴が意味的に意味のある情報を含むように保証するため、ガイドランスブネットワークを導入する。
• 生成器は、敵対的損失、知覚的損失、アイデンティティ損失の組み合わせを用いて訓練され、写真的リアリズムと識別可能な顔の特徴の両方を保持する。
• 識別器は、実際の可視画像と生成された画像を区別するように訓練され、生成器がよりリアルな出力を生成するよう促進する。
• すべてのコンponentsが統合的に最適化できるように、実際の偏光可視顔データセット上でエンドツーエンドに訓練される。
• 複数のプロトコル、特にDoGフィルタをかけた画像を含む、ロバストネスと一般化性能の評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 GANを用いた統合最適化フレームワークは、2段階的手法と比較して、偏光熱画像から可視顔画像を合成する際の品質を向上させることができるか？
• RQ2 ガイドランスブネットワークの導入が、合成された可視顔画像の意味的整合性とリアリズムにどのように影響するか？
• RQ3 知覚的損失とアイデンティティ損失を組み合わせることで、顔認識に向けた合成画像の識別力はどの程度向上するか？
• RQ4 エッジベースの認識タスクを模倣するDoGフィルタをかけた画像のような困難な条件下でも、本手法はどの程度の性能を示すか？
• RQ5 本手法は、画像品質指標および顔認識精度の両面で最先端の性能を達成するか？

主な発見

• 提案手法GAN-VFSは、S0-VisプロトコルでPSNR 17.11 dB、Polar-Visプロトコルで17.64 dBを達成し、従来手法を顕著に上回った。
• S0-VisではSSIM 0.5491、Polar-Visでは0.5603を記録し、正解画像との構造的類似性が優れていることを示した。
• 顔認識の分野では、S0-VisでAUC 79.30%、Polar-Visで79.90%を達成し、それぞれEERが27.34%および25.17%であった。これは最先端の性能を示している。
• アブレーションスタディにより、知覚的損失とアイデンティティ損失の組み合わせが、画像品質および認識精度の両方を顕著に向上させることを確認した。
• DoGフィルタをかけたバージョンを含む4つの実験プロトコルすべてにおいて、従来手法を上回り、特徴抽出の変動に対してロバストであることを示した。
• 定性的な結果から、合成画像がベースライン手法と比較してより写真的リアリズムに近く、目や顔の輪郭などの細かな顔の特徴をより正確に保持していることが明らかになった。