[論文レビュー] Illumination-invariant face recognition from a single image across extreme pose using a dual dimension AAM ensemble in the thermal infrared spectrum

Reza Shoja Ghiass, Ognjen Arandjelović+2 more|arXiv (Cornell University)|Jun 7, 2013

Face recognition and analysis参考文献 26被引用数 5

ひとこと要約

本稿では、極端なアングルにおける単一の熱赤外線（IR）画像を用いた、照明に依存しない顔認識のための二重次元AAMアンサンブルを提案する。アングルおよび領域別に特化したAAMを用いて中立的表現・平均視点の顔を合成し、多スケールバイスネスフィルタを用いて頑健な血管網表現を実現することで、大規模な公開熱IRデータベースおよび新規に取得したモーショングレーディング動画データセットの両方で、完全な認識性能を達成した。これは、複数枚の画像を用いた訓練でさえも、最先端の手法を上回る結果である。

ABSTRACT

Over the course of the last decade, infrared (IR) and particularly thermal IR imaging based face recognition has emerged as a promising complement to conventional, visible spectrum based approaches which continue to struggle when applied in practice. While inherently insensitive to visible spectrum illumination changes, IR data introduces specific challenges of its own, most notably sensitivity to factors which affect facial heat emission patterns, e.g. emotional state, ambient temperature, and alcohol intake. In addition, facial expression and pose changes are more difficult to correct in IR images because they are less rich in high frequency detail which is an important cue for fitting any deformable model. In this paper we describe a novel method which addresses these major challenges. Specifically, when comparing two thermal IR images of faces, we mutually normalize their poses and facial expressions by using an active appearance model (AAM) to generate synthetic images of the two faces with a neutral facial expression and in the same view (the average of the two input views). This is achieved by piecewise affine warping which follows AAM fitting. A major contribution of our work is the use of an AAM ensemble in which each AAM is specialized to a particular range of poses and a particular region of the thermal IR face space. Combined with the contributions from our previous work which addressed the problem of reliable AAM fitting in the thermal IR spectrum, and the development of a person-specific representation robust to transient changes in the pattern of facial temperature emissions, the proposed ensemble framework accurately matches faces across the full range of yaw from frontal to profile, even in the presence of scale variation (e.g. due to the varying distance of a subject from the camera).

研究の動機と目的

• 既存の手法の性能を制限する顔のアングルおよび表情の変動に起因する課題に対処すること。
• AAMの適合が困難になる低周波数のテクスチャ詳細の欠如に起因する熱IR画像の特徴を補うこと。
• 周囲温度や感情状態に起因する一時的な顔面熱放射パターンの変化に対して頑健な表現を提供すること。
• 正面からプロファイルに至るまでのヨー角をカバーする単一の熱IR画像から、正確な顔認識を可能にすること。
• 顕著なアングルおよび表情の変動を伴う大規模で現実世界の熱IRデータセットにおいて、本手法の有効性を示すこと。

提案手法

• 各AAMが特定の頭部アングル範囲および熱IR顔空間の領域に特化した、アクティブアパーニャンスモデル（AAM）のアンサンブルを用いることで、適合精度と一般化性能を向上させる。
• アングルおよび表情の正規化のために、AAMは適合後にピecewiseアフィン変換を用いて共通の平均視点および中立的表現の合成画像を生成する。
• AAM適合における収束問題を軽減するため、事前処理段階で判別性の高い情報量を強化する。
• 個人に特化した表現として、多スケールバイスネスフィルタを用いて皮膚下の血管網特徴を抽出し、顔面温度パターンの変化に対して頑健である。
• バイスネスフィルタは、複数スケールでの血管様構造の信頼性をモデル化することで、スケール不変性および解像度に頑健な特徴抽出を可能にする。
• AAMベースの正規化と血管網表現を統合することで、極端なアングル変動および環境条件の変化に対しても正確なマッチングを実現する。

実験結果

リサーチクエスチョン

• RQ1 二重次元AAMアンサンブルは、単一の画像からの正確な認識を可能にするために、熱IR顔画像におけるアングルおよび表情の変動を効果的に正規化できるか？
• RQ2 高周波数テクスチャ詳細が欠如する熱IR画像において、AAM適合をどのように安定化できるか？
• RQ3 多スケールバイスネスベースの表現は、一時的な顔面熱放射パターンの変化に対して頑健性を提供できるか？
• RQ4 顕著なアングルおよび表情の変動を伴う大規模な熱IRデータセットにおいて、本手法は最先端の手法を上回る性能を示せるか？
• RQ5 複数視点のトレーニングデータがなく、被験者1人あたり1枚の画像での学習に限った場合でも、本手法は有効であるか？

主な発見

• 本手法は、顕著なアングルおよび表情の変動を含む、最大の公開利用可能な熱IR顔認識データベースにおいて、完全な認識性能（100％等誤差率に相当）を達成した。
• 新たに取得した熱IRモーショングレーディング動画データセットにおいても、本手法は完全な認識性能を達成し、動的頭部運動および表情変化に対して頑健であることを示した。
• 受信器特性曲線（ROC）から、ヨー角30–60°の半プロファイルアングルが、正面または極端なプロファイルアングルよりも判別性が高く、30–60°範囲で理想に最も近い曲線を示した。
• 複数の頭部視点をカバーする複数枚の画像で訓練された他の手法ですら、本手法は顕著に優れた性能を示した。
• クラス間類似度分布がクラス内分布と明確に分離されており、提案表現の強力な判別力が裏付けられた。
• アングルおよび領域別に特化したAAMをアンサンブルフレームワークで用いることで、適合誤差が効果的に低減され、多様な熱IR外観にわたる一般化性能が向上した。