[論文レビュー] A Survey on Heterogeneous Face Recognition: Sketch, Infra-red, 3D and Low-resolution

Shuxin Ouyang, Timothy M. Hospedales+2 more|arXiv (Cornell University)|Sep 17, 2014

Face recognition and analysis被引用数 24

ひとこと要約

本サーベイは、スケッチ、赤外線、3D、低解像度／高解像度顔モダリティを含む、異種顔認識（HFR）技術について包括的なレビューを提供する。クロスモダリティマッチング手法、不変特徴学習、ベンチマークデータセットを分析し、深層学習や自動属性モデリングを含む未解決の課題と今後の方向性で結論づける。

ABSTRACT

Heterogeneous face recognition (HFR) refers to matching face imagery across different domains. It has received much interest from the research community as a result of its profound implications in law enforcement. A wide variety of new invariant features, cross-modality matching models and heterogeneous datasets being established in recent years. This survey provides a comprehensive review of established techniques and recent developments in HFR. Moreover, we offer a detailed account of datasets and benchmarks commonly used for evaluation. We finish by assessing the state of the field and discussing promising directions for future research.

研究の動機と目的

• スケッチ、赤外線、3D、低解像度／高解像度画像を含む、多様なモダリティにおける異種顔認識（HFR）技術の体系的レビューを提供すること。
• 外観、幾何学的特徴、解像度の面でのモダリティ間ギャップを埋めるための戦略に基づいて、既存のアプローチを分析・分類すること。
• 再現可能性の高い研究とメソッド比較を支援するため、広く使われているHFRデータセットとベンチマークを評価・比較すること。
• アライメント感度、限られたトレーニングデータ、特徴およびモデル貢献のモularityの欠如といった、主な課題を特定すること。
• 深層学習、メトリクス学習、自動顔属性抽出、アライメント誤差への耐性といった今後の研究方向性を提示すること。

提案手法

• モダリティペア（例：スケッチ-写真、VIS-NIR、2D-3D、低解像度-高解像度）とクロスモダリティマッチング戦略に基づいてHFR手法を分類する。
• CCA、PLS、スパースコーディングおよびそれらの一般化手法を含む、クロスドメイン表現のための特徴学習技術をレビューする。
• 異種顔画像間の意味的ギャップを埋めるための合成ベースと直接マッチングベースのアプローチを分析する。
• フォレンジックスケッチ、赤外線、3D、低解像度顔コレクションを含む、標準化されたベンチマークとデータセットを用いて性能を評価する。
• 検索空間を絞り込み、マッチング精度を向上させるために、ソフトバイオメトリクスと顔属性を補助的特徴として統合する。
• 深層学習とメトリクス学習が、強力で非線形なクロスモダリティ表現を学習する可能性を検討する。

実験結果

リサーチクエスチョン

• RQ1 スケッチ、赤外線、3D、低解像度画像などの異種モダリティ間で顔をマッチングするための主な技術的戦略は何か？
• RQ2 現在のHFR手法は、撮影モダリティ、解像度、外観の違いによって生じる意味的ギャップをどのように扱っているか？
• RQ3 既存のHFRベンチマークのサイズ、多様性、現実性の観点から、主な制限は何であるか？
• RQ4 性別や民族といった付加的情報や顔属性は、HFR性能をどの程度向上させることができるか？
• RQ5 深層学習と自動特徴学習の観点から、HFRにおける最も有望な今後の方向性は何か？

主な発見

• CCA、PLS、スパースコーディングは依然として広く用いられているが、より複雑な非線形マッピングへの関心が高まっている。
• 現在のHFRデータセットは、同種顔認識のそれらに比べて著しく小さく、深層学習モデルのスケーラビリティを制限している。
• 既存の研究では、特徴とモデル貢献がしばしば混同されており、再現性を損なっており、モジュラー研究の進展を妨げている。
• 性別や民族といったソフトバイオメトリクス的特徴を統合することで、検索空間を絞り込み、マッチング性能を向上させることができる。
• 顔属性モデリングは、自動属性抽出技術と組み合わせることで、クロスモダリティギャップを埋める上で有望である。
• 今後のHFRシステムは、アライメント誤差に耐性を持ち、実世界での導入に向け、アライメントを認識パイプラインに統合する必要がある。