[論文レビュー] TV-GAN: Generative Adversarial Network Based Thermal to Visible Face Recognition

Teng Zhang, Arnold Wiliem+2 more|arXiv (Cornell University)|Dec 7, 2017

Face recognition and analysis参考文献 29被引用数 7

ひとこと要約

本稿では、顔の識別情報を保持しながら赤外線顔画像を可視光に似せた画像に変換する、TV-GANと呼ばれる生成対抗ネットワークを提案する。この手法により、事前学習済みの可視光ドメイン顔認識モデルを再訓練なしに直接利用可能となる。識別情報の保持を向上させるために、識別器にクローズドセット顔認識損失を統合することで、ベースラインのGANよりも顔の識別情報の保持が向上し、限られた学習データのもとでも、顔認識ベンチマークにおいて最先端の性能を達成している。

ABSTRACT

This work tackles the face recognition task on images captured using thermal camera sensors which can operate in the non-light environment. While it can greatly increase the scope and benefits of the current security surveillance systems, performing such a task using thermal images is a challenging problem compared to face recognition task in the Visible Light Domain (VLD). This is partly due to the much smaller amount number of thermal imagery data collected compared to the VLD data. Unfortunately, direct application of the existing very strong face recognition models trained using VLD data into the thermal imagery data will not produce a satisfactory performance. This is due to the existence of the domain gap between the thermal and VLD images. To this end, we propose a Thermal-to-Visible Generative Adversarial Network (TV-GAN) that is able to transform thermal face images into their corresponding VLD images whilst maintaining identity information which is sufficient enough for the existing VLD face recognition models to perform recognition. Some examples are presented in Figure 1. Unlike the previous methods, our proposed TV-GAN uses an explicit closed-set face recognition loss to regularize the discriminator network training. This information will then be conveyed into the generator network in the forms of gradient loss. In the experiment, we show that by using this additional explicit regularization for the discriminator network, the TV-GAN is able to preserve more identity information when translating a thermal image of a person which is not seen before by the TV-GAN.

研究の動機と目的

• ドメインギャップと限られたデータによる顔認識性能の低さという課題に対処すること。
• 再訓練なしに、事前学習済みの可視光ドメイン（VLD）顔認識モデルを赤外線画像に直接適用可能にすること。
• 明示的な監視を用いて、赤外線から可視光への画像変換における識別情報の保持を向上させること。
• 識別情報正則化を施した敵対的学習により、赤外線と可視光の顔画像間のドメインギャップを低減すること。

提案手法

• 条件付きGANフレームワークを用い、生成器が赤外線画像を可視光に似せた画像にマッピングする。
• 識別器は二重のタスクを実行する：本物/偽物画像分類とクローズドセット顔認識。
• クローズドセット顔認識損失は識別器に埋め込まれ、勾配伝搬により生成器に逆伝播される。
• 生成器は敵対的損失と識別情報保持損失の両方を最小化するように訓練され、特徴の整合性が向上する。
• 対応する赤外線および可視光顔画像のペアデータを用いて、変換関数を学習する。
• VGGベースの損失など認識に依存する損失に依存せず、明示的な識別情報の監視を用いることで、学習コストを削減する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの画像変換モデルは、可視光ドメインでの顔認識を可能にする十分な識別情報を赤外線入力のみで保持できるか？
• RQ2 識別器にクローズドセット顔認識損失を統合することで、認識ベースの損失と比較して識別情報保持がどのように向上するか？
• RQ3 限られたデータ条件下で、提案手法のTV-GANは、既存のGANベースおよびパッチベースの手法を上回る性能を示すか？
• RQ4 トレーニングで除外された属性（例：眼鏡）を持つ未学習のアイデンティティに対して、本手法はどれほど頑健か？

主な発見

• TV-GANは、1人あたり1枚の可視光画像を使用するプロトコルAおよび4枚の可視光画像を使用するプロトコルBの両方において、Pix2Pixを含むすべての比較手法を上回るRank-1正答率を達成した。
• プロトコルAでは、TV-GANはRank-1正答率24.08%を達成し、シンプルな赤外線ベースライン（12.57%）およびPix2Pix（7.85%）を顕著に上回った。
• プロトコルBでは、TV-GANはRank-3正答率31.41%を達成し、シンプルな赤外線手法（Rank-3正答率46.07%だがRank-1は低い）およびPix2Pix（Rank-3正答率36.13%）を上回った。
• トレーニングで除外された眼鏡をかけた被験者に対してテストしたところ、TV-GANはシンプルな赤外線ベースラインを上回ったが、性能は低下しており、未学習の属性に対して感受性があることが示された。
• アブレーションスタディの結果、十分なトレーニングデータがなければ、TV-GANのようなGANベース手法ですらシンプルな赤外線ベースラインを下回ることがあり、データ不足が主な課題であることが浮き彫りになった。
• 可視化結果から、TV-GANはベースライン手法よりもより現実的で識別情報が保持された顔を生成していることがわかったが、人種や年齢などの属性を正確に保持できない場合もあった。