[論文レビュー] Sparse Graphical Representation based Discriminant Analysis for Heterogeneous Face Recognition

Chunlei Peng, Xinbo Gao+2 more|arXiv (Cornell University)|Jul 1, 2016

Face and Expression Recognition参考文献 46被引用数 8

ひとこと要約

本稿では、マルコフネットワークを用いた適応的スパースグラフィカルモデリングと空間的パーティショニングに基づく判別分析を統合することで、異種顔認識のためのスパースグラフィカル表現ベースの判別分析（SGR-DA）を提案する。この手法は特徴の判別能を向上させ、TIR-VISデータセットにおいて93.08%のランク-50正答率を達成し、従来手法を著しく上回る最先端の性能を発揮する。

ABSTRACT

Face images captured in heterogeneous environments, e.g., sketches generated by the artists or composite-generation software, photos taken by common cameras and infrared images captured by corresponding infrared imaging devices, usually subject to large texture (i.e., style) differences. This results in heavily degraded performance of conventional face recognition methods in comparison with the performance on images captured in homogeneous environments. In this paper, we propose a novel sparse graphical representation based discriminant analysis (SGR-DA) approach to address aforementioned face recognition in heterogeneous scenarios. An adaptive sparse graphical representation scheme is designed to represent heterogeneous face images, where a Markov networks model is constructed to generate adaptive sparse vectors. To handle the complex facial structure and further improve the discriminability, a spatial partition-based discriminant analysis framework is presented to refine the adaptive sparse vectors for face matching. We conducted experiments on six commonly used heterogeneous face datasets and experimental results illustrate that our proposed SGR-DA approach achieves superior performance in comparison with state-of-the-art methods.

研究の動機と目的

• スケッチ、赤外線、可視画像など、異種モダリティ間で顔認識性能が著しく低下する要因となる、顔のテクスチャやスタイルの大きな違いに対処する。
• 固定のK近傍法に依存する既存手法の限界や、顔の空間的構造を無視することで判別能が低下する問題を克服する。
• 法医学的スケッチ、合成スケッチ、赤外線から可視画像へのマッチングを含む、多様なHFRシナリオにおいて、特徴表現とマッチング精度を向上させる汎用的なフレームワークを開発する。
• スパース表現プロセスに、行ベース、列ベース、学習ベースの空間的パーティショニング戦略を統合することで、判別能を向上させる。

提案手法

• 顔のパッチをモデル化するため、マルコフネットワークを用いた適応的スパースグラフィカル表現を提案し、再構成誤差を最小化し、パッチ間の一貫性を保つように重みベクトルを学習する。
• 再構成誤差を最小化するとともに、隣接するパッチ間の構造的一致性を強制するための新しい最適化フレームワークを導入し、二次的目的関数を用いる。
• スパース表現に、行方向、列方向、および学習ベースのパーティショニングを適用し、顔の局所領域における判別的特徴を精緻化する。
• 精緻化されたスパースベクトル空間において、クラス間分散を最大化し、クラス内分散を最小化する判別分析フレームワークを用い、マッチング性能を向上させる。
• 重みベクトルにスパarsity制約および正規化制約を課した制約付き二次計画問題として最適化を定式化する。
• マーフォンネットワークの局所的顔構造のモデル化能力を活用し、固定K近傍法の制限を回避する、関連する近隣を適応的に選択する。

実験結果

リサーチクエスチョン

• RQ1 固定近傍法に依存する手法と比較して、適応的スパースグラフィカル表現は、異種顔認識における判別能を向上させることができるか？
• RQ2 顔領域の空間的パーティショニングは、HFRタスクにおけるスパース表現の判別能をどのように向上させるか？
• RQ3 提案されたSGR-DAフレームワークは、スケッチから写真へのマッチング、NIRからVISへのマッチング、TIRからVISへのマッチングを含む、多様なHFRシナリオに一般化可能か？
• RQ4 マーフォンネットワークベースの表現と判別分析を統合することで、既存の最先端手法をどの程度上回るか？

主な発見

• 提案されたSGR-DA手法は、TIR-VISデータセットにおいて93.08%のランク-50正答率を達成し、前回の最良手法（P-RS）の46.15%を著しく上回った。
• CUFSFのスケッチ視覚化データセットでは、SGR-DAが優れたランク-1正答率を達成し、最先端手法を5%上回った。
• 本手法は、法医学的スケッチ、合成スケッチ、準法医学的スケッチを含む、複数のHFRシナリオにおいて強力な一般化性能を示し、さまざまな評価プロトコルでも安定した性能を発揮した。
• 空間的パーティショニングに基づく判別分析フレームワークは、行、列、学習されたパーティショニングを用いて局所的スパース表現を精緻化することで、特徴の判別能を効果的に向上させた。
• 適応的スパース表現により、手動で調整する必要のあるK近傍法への依存が軽減され、多様なモダリティにわたるロバスト性と性能向上が実現された。