[論文レビュー] Thermal to Visible Synthesis of Face Images using Multiple Regions

Benjamin S. Riggan, Nathaniel J. Short+1 more|arXiv (Cornell University)|Mar 20, 2018

Face recognition and analysis参考文献 20被引用数 5

ひとこと要約

本論文では、全身顔領域と局所的顔領域（目、鼻、口）の表現を統合的に最適化することで、熱赤外入力から高品質な可視顔画像を合成するマルチリージョンディープラーニングフレームワークを提案する。リージョン固有の特徴抽出と正則化を活用することで、先行手法と比較してAUCを5.5%向上、EERを3.7%低減する、最先端のクロススペクトル顔認証性能を達成するとともに、合成画像上での正確なランドマーク検出も可能である。

ABSTRACT

Synthesis of visible spectrum faces from thermal facial imagery is a promising approach for heterogeneous face recognition; enabling existing face recognition software trained on visible imagery to be leveraged, and allowing human analysts to verify cross-spectrum matches more effectively. We propose a new synthesis method to enhance the discriminative quality of synthesized visible face imagery by leveraging both global (e.g., entire face) and local regions (e.g., eyes, nose, and mouth). Here, each region provides (1) an independent representation for the corresponding area, and (2) additional regularization terms, which impact the overall quality of synthesized images. We analyze the effects of using multiple regions to synthesize a visible face image from a thermal face. We demonstrate that our approach improves cross-spectrum verification rates over recently published synthesis approaches. Moreover, using our synthesized imagery, we report the results on facial landmark detection-commonly used for image registration-which is a critical part of the face recognition process.

研究の動機と目的

• 熱赤外と可視顔画像の間の大きなモダリティギャップが、クロススペクトル顔認証および人間による認証を困難にしているのを是正すること。
• 既存の可視スペクトル顔認証システムとの相互運用性を可能にするために、熱入力からリアルな可視顔画像を生成すること。
• 全身顔領域と局所的顔領域の両方を統合的に最適化することで、合成顔の判別能を向上させること。
• 顔のランドマーク検出などの後続タスクにおける合成画像の有効性を評価すること。
• リージョンベースの正則化が、単一リージョンまたはグローバルのみのアプローチを上回る合成品質と認証精度を向上させることを示すこと。

提案手法

• 完全畳み込みニューラルネットワーク（FCN）が、全身の注目領域（顔全体）と複数の局所的特徴点領域（目、鼻、口）から特徴を抽出する。
• リージョン固有のクロススペクトルマッピングを学習し、熱特徴から対応する可視特徴を予測する。
• グローバルおよび局所リージョンからの勾配更新を逆伝播させ、合成ネットワークを最適化する。
• 各リージョンからの補完的正則化項を適用することで、合成可視画像のテクスチャおよび構造的忠実度を向上させる。
• 合成画像と実際の可視顔特徴の類似性を強制する周辺損失を用いて、エンドツーエンドでフレームワークを訓練する。
• 標準的な可視スペクトルツール（例：DLIB）を用いて、合成画像上でのランドマーク検出を実施し、実用的有用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 全身および局所的顔領域における統合的最適化が、熱帯可視顔合成の判別能を向上させることができるか？
• RQ2 リージョン固有の正則化を組み込むことで、グローバルのみまたはベースライン手法と比較して、より優れたクロススペクトル認証性能が得られるか？
• RQ3 熱入力から得た合成可視画像は、標準的な可視スペクトルツールを用いて正確なランドマーク検出を可能にするか？
• RQ4 AUCおよびEERという観点から、本手法は最先端の合成技術と比較してどの程度優れているか？
• RQ5 マルチリージョンアプローチは、既存の顔認証パイプラインにおける合成画像の有用性をどの程度向上させるか？

主な発見

• 提案されたマルチリージョン合成手法は、偏光熱帯可視合成において、前回の最先端手法比でAUCが5.54%向上（85.43%）を達成した。
• 本手法は、前回の最先端手法と比較して等価誤り率（EER）を3.71%低減し、偏光データ上では21.46%のEERを達成した。
• 従来の熱入力に対しては、26.25%のEERを達成し、前回の最良手法比で1.11%の改善を示した。
• 従来の熱入力に対しては、合成画像上でのランドマーク検出平均誤差が4.95ピクセルであり、偏光熱入力では4.83ピクセルであった。
• 合成画像は、DLIBなどの標準的な可視スペクトルソフトウェアを用いて正確なランドマーク検出を可能にしたが、これは生の熱画像では失敗する。
• 本フレームワークは、グローバルおよびローカルリージョン表現を組み合わせ、リージョン固有の正則化を適用することで、合成品質および認識性能が顕著に向上することを示した。