[論文レビュー] A Large-Scale, Time-Synchronized Visible and Thermal Face Dataset

Domenick Poster, Matthew Thielke+9 more|arXiv (Cornell University)|Jan 7, 2021

Face recognition and analysis参考文献 39被引用数 4

ひとこと要約

本論文は、395名の被験者からなる50万枚を超える画像を含む、公開済みで最大規模の時間同期化された可視光および長波長赤外線（LWIR）熱画像顔データセット、ARL-VTFを紹介する。このデータセットは、熱画像顔ランドマーク検出および可視光対熱画像顔照合のベンチマークを可能にし、SAGANを用いた合成で99.28%、実際の可視光プローブで99.63%の最先端のAUCスコアを達成した。

ABSTRACT

Thermal face imagery, which captures the naturally emitted heat from the face, is limited in availability compared to face imagery in the visible spectrum. To help address this scarcity of thermal face imagery for research and algorithm development, we present the DEVCOM Army Research Laboratory Visible-Thermal Face Dataset (ARL-VTF). With over 500,000 images from 395 subjects, the ARL-VTF dataset represents, to the best of our knowledge, the largest collection of paired visible and thermal face images to date. The data was captured using a modern long wave infrared (LWIR) camera mounted alongside a stereo setup of three visible spectrum cameras. Variability in expressions, pose, and eyewear has been systematically recorded. The dataset has been curated with extensive annotations, metadata, and standardized protocols for evaluation. Furthermore, this paper presents extensive benchmark results and analysis on thermal face landmark detection and thermal-to-visible face verification by evaluating state-of-the-art models on the ARL-VTF dataset.

研究の動機と目的

• 研究用に高品質で時間同期化された可視光および熱画像顔データの不足に対処すること。
• ポーズの変化、表情、遮蔽などの制約のない条件下で頑健な顔認識モデルの開発を支援すること。
• 熱画像対可視光顔照合および顔ランドマーク検出モデルの学習と評価のための標準化されたプロトコルを提供すること。
• 大規模かつ精査済みのデータセットを用いて、熱画像分析タスクにおける最先端のディーブラーニングモデルのベンチマーク化すること。

提案手法

• ステレオ可視カメラセットアップと長波長赤外線（LWIR）カメラを用いて、可視光およびLWIR熱画像を同時に撮影する。
• 被験者1人あたり3つの画像シーケンス（ベースライン、表情、オフポーズ）を体系的に記録し、眼鏡装着状態用に第4のシーケンスを追加する。
• 全画像に対して、頭部ポーズ、眼鏡装着状態、顔のバウンディングボックス、および6つの顔面ランドマークをアノテーションする。
• VGG-Face、Pix2Pix、GANVFS、SAGANを含むディープラーニングモデルを用いて、クロスモーダル顔照合および画像合成を実行する。
• 条件付きGAN（例：SAGAN）を用いて、熱画像入力から可視光に似た画像を合成し、クロススペクトルマッチングを向上させる。
• AUC、EER、ポーズや条件の変化に応じたランドマーク検出精度といった指標を用いて、標準化されたプロトコルで評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ポーズや表情の条件が異なる際、熱画像対可視光顔照合性能はどのように変化するか？
• RQ2 眼鏡による遮蔽は、特に熱画像ドメインにおいて、熱画像対可視光顔照合の正確性をどの程度低下させるか？
• RQ3 GANベースの画像合成手法は、クロススペクトル顔照合性能の向上にどの程度効果的か？
• RQ4 ポーズの変化は、熱画像顔ランドマーク検出および照合正確性にどのような影響を与えるか？
• RQ5 Pix2PixやSAGANなどの異なる合成手法は、熱画像入力からリアルな可視光に似た画像を生成する際に、どのように比較されるか？

主な発見

• SAGANベースの合成手法は、熱画像対可視光顔照合で99.28%のAUCを達成し、元のベースライン（61.37% AUC）を著しく上回った。
• 実際の可視光プローブベースラインは、ベースラインシーケンスで99.06%のAUCを達成したが、オフポーズシーケンスでは75.76%に低下し、ポーズが主な課題であることが浮き彫りになった。
• 表情による性能低下が観察され、SAGANのAUCは、表現のある顔では99.28%から98.46%に低下した。
• SAGANモデルの等誤差率（EER）は3.97%であり、高い耐性を示したが、Pix2Pixモデルはポーズ変化に対してEERが33.8%であった。
• 眼鏡を装着した熱画像は、レンズによる熱吸収が生じ、熱シグナルを遮蔽し、照合正確性を著しく低下させることが分かった。
• このデータセットの標準化されたプロトコルと包括的なアノテーションにより、多様な現実世界の条件下で熱画像分析モデルの信頼性のあるベンチマークが可能になった。