[論文レビュー] Shared Representation Learning for Heterogeneous Face Recognition

Yi Dong, Zhen Lei+2 more|arXiv (Cornell University)|Jun 5, 2014

Face recognition and analysis参考文献 29被引用数 32

ひとこと要約

本論文は、局所的制限ボルツマンマシン（RBMs）を用いてGabor特徴からモダリティ不変特徴を学習する、異種顔認識のための新しい共有表現学習フレームワークを提案する。局所的RBMsを用いて共有表現を抽出し、PCAと組み合わせることで、Sketch-PhotoおよびNIR-VIS顔認識タスクで最先端の性能を達成した。特に、CUFS、CASIA HFB、NIR-VIS 2.0データベースにおいて、教師なし事前学習のおかげで過学習が最小限に抑えられ、優れた汎化性能を示した。

ABSTRACT

After intensive research, heterogenous face recognition is still a challenging problem. The main difficulties are owing to the complex relationship between heterogenous face image spaces. The heterogeneity is always tightly coupled with other variations, which makes the relationship of heterogenous face images highly nonlinear. Many excellent methods have been proposed to model the nonlinear relationship, but they apt to overfit to the training set, due to limited samples. Inspired by the unsupervised algorithms in deep learning, this paper proposes an novel framework for heterogeneous face recognition. We first extract Gabor features at some localized facial points, and then use Restricted Boltzmann Machines (RBMs) to learn a shared representation locally to remove the heterogeneity around each facial point. Finally, the shared representations of local RBMs are connected together and processed by PCA. Two problems (Sketch-Photo and NIR-VIS) and three databases are selected to evaluate the proposed method. For Sketch-Photo problem, we obtain perfect results on the CUFS database. For NIR-VIS problem, we produce new state-of-the-art performance on the CASIA HFB and NIR-VIS 2.0 databases.

研究の動機と目的

• 異種顔画像モダリティ（例：スケッチ、NIR、VIS）間の非線形的で複雑な関係に対処すること。
• 異種顔認識に一般的に見られる低データ環境における過学習を、教師なし事前学習を活用することで低減すること。
• 局所的特徴モデリングと共有表現学習を通じて、モダリティ不変で識別的な表現を学習すること。
• 従来の最先端手法と比較して、CUFS、CASIA HFB、NIR-VIS 2.0などのベンチマークデータベースにおける認識精度を向上させること。

提案手法

• 顔のキーポイントから局所的Gabor特徴を抽出し、テクスチャおよびエッジ情報を捉える。
• 局所的特徴パッチに複数の3層制限ボルツマンマシン（RBMs）を訓練し、共有でモダリティ不変の表現を学習する。
• 重み共有と局所的接続を持つ局所的RBMアーキテクチャを用い、パrameter効率の良い非線形関係のモデル化を実現する。
• すべての局所的RBMsの隠れ層表現を連結して、グローバル特徴ベクトルを形成する。
• 次元削減と非識別的成分の除去を目的に、主成分分析（PCA）を適用する。
• 最終的なPCA処理済み共有表現上でコサイン類似度を用いてプローブ画像とギャラリー画像をマッチングする。

実験結果

リサーチクエスチョン

• RQ1 RBMsを用いた教師なしディープラーニングは、異種顔画像モダリティ間の極めて非線形な関係を効果的にモデル化できるか？
• RQ2 局所的RBMsベースの特徴学習は、グローバルまたは畳み込み型RBMアプローチと比較して、異種顔認識における汎化性能と性能で優れているか？
• RQ3 共有表現学習は、どれほどモダリティ固有の変動を低減しつつ、アイデンティティを識別する情報は保持できるか？
• RQ4 RBMsベースの事前学習の統合は、困難なデータベースにおいて、従来のPCAやGabor特徴のみのベースラインと比較して、認識精度をどの程度向上させるか？

主な発見

• 提案手法は、Sketch-Photo顔認識のためのベンチマークであるCUFSデータベースで完璧な性能を達成し、初めてベンチマークを飽和させた。
• CASIA HFBデータベースでは、FAR=0.1%の条件下でRank-1認識率90.85%を達成し、従来の最先端手法を上回った。
• より困難なNIR-VIS 2.0データベースでは、11個の主成分を削除した状態でRank-1認識率86.16%を達成し、ベースラインのPCA+Sym+HCA手法（23.7%）を著しく上回った。
• アブレーションスタディの結果、局所的RBMsがモデルの複雑さと汎化性能のバランスを最も良く保つことが確認され、グローバルおよび畳み込み型RBMの変種を上回った。
• RBMsの使用により、削除する主成分数に対する性能曲線が滑らかになり、ハイパーパramータチューニングへの感受性が低く、より高いロバストネスを示した。
• 失敗事例の主な要因は、ポーズの変化、眼鏡のスペキュラ反射、表情の違いであり、これらはスペクトルの異種性があっても依然として困難な課題のままである。