[論文レビュー] Deep Learning Face Representation by Joint Identification-Verification

Yi Sun, Xiaogang Wang+1 more|arXiv (Cornell University)|Jun 18, 2014

Face recognition and analysis参考文献 28被引用数 1,789

ひとこと要約

この論文では、顔認識と顔照合の両方の信号を統合的に最適化することで、頑健な顔特徴を学習する深層畳み込みニューラルネットワーク、DeepID2を提案する。識別と照合の両方のタスクを同時に最適化することで、個人内変動を増加させ、個人間変動を低減させることで、LFWベンチマーク上での顔照合精度が99.15%に達し、従来の最先端手法と比較して誤差率を67%低減した。

ABSTRACT

The key challenge of face recognition is to develop effective feature representations for reducing intra-personal variations while enlarging inter-personal differences. In this paper, we show that it can be well solved with deep learning and using both face identification and verification signals as supervision. The Deep IDentification-verification features (DeepID2) are learned with carefully designed deep convolutional networks. The face identification task increases the inter-personal variations by drawing DeepID2 extracted from different identities apart, while the face verification task reduces the intra-personal variations by pulling DeepID2 extracted from the same identity together, both of which are essential to face recognition. The learned DeepID2 features can be well generalized to new identities unseen in the training data. On the challenging LFW dataset, 99.15% face verification accuracy is achieved. Compared with the best deep learning result on LFW, the error rate has been significantly reduced by 67%.

研究の動機と目的

• 制約のない顔認識における個人内変動（例：ポーズ、照明）と個人間差を扱う課題に取り組む。
• 学習済み特徴の一般化性能を、トレーニングデータを超えた新しいアイデンティティやタスクに対しても向上させる。
• 識別と照合の監視信号を併用することで、単独で使用する場合と比較して優れた深層顔特徴を獲得できるかどうかを検証する。
• 識別力と多様な顔の状態にわたるロバスト性を向上させる特徴学習フレームワークを開発する。
• 顔領域入力のみを用いて、LFWベンチマークで人間水準の精度に達する、最先端の性能を達成する。

提案手法

• 8192人のアイデンティティを分類する多クラス分類タスク（顔識別）と、画像ペアの二値分類タスク（顔照合）の両方を監視信号として用いて、深層畳み込みニューラルネットワークを学習する。
• 識別用の交差エントロピー損失と、トリプレットに類似した照合損失（L2ノルム）を組み合わせた共同損失関数を活用し、特徴学習を最適化する。
• 各顔画像の複数の空間的パッチと解像度からDeepID2特徴を抽出し、局所的およびグローバルな顔のパターンを捉える。
• 連結されたDeepID2特徴の次元を180次元に次元削減するために主成分分析（PCA）を適用し、後続処理の効率を向上させる。
• PCAで次元削減された特徴に、ジョイントベイズモデルを適用し、7つの独立して選択されたパッチセットのスコアをSVMを用いて統合する。
• 個人内変動を特に低減するため、マージンベースの照合損失（L2+）を採用し、同一アイデンティティの特徴を引き寄せる。

実験結果

リサーチクエスチョン

• RQ1 顔識別と照合タスクからの共同監視が、それぞれの信号を別々に使用する場合と比較して、深層顔特徴の学習をどのように向上させるか？
• RQ2 識別と照合の信号を組み合わせることで、未観測のアイデンティティや照合タスクへの特徴の一般化性能にどのような影響を与えるか？
• RQ3 L2、L2+、L2-、L1、コサインなどの異なる照合損失関数が、個人内変動の低減に果たす相対的寄与度は何か？
• RQ4 複数の顔パッチと解像度からの補完的特徴を効果的に統合することで、照合精度はどの程度向上するか？
• RQ5 深層学習ベースのシステムが、顔領域入力のみを用いて、LFWベンチマークで人間水準の性能を達成できるか？

主な発見

• 提案されたDeepID2モデルは、LFWデータセット上での顔照合精度が99.15%に達し、発表当時、新たな最先端の成績を記録した。
• 識別と照合の信号を併用することで、従来の最高の深層学習結果（97.45%精度）と比較して、誤差率が67%低減された。
• L2+照合損失（同一アイデンティティの距離のみを最小化）は、L2-や照合信号なしの条件と比較して顕著に性能を向上させ、個人内変動の低減に有効であることが確認された。
• L2ノルムは、L1、コサイン、および照合信号なしの条件と比較して、照合精度で優れており、個人内一貫性に対する強い正則化効果があることが示された。
• 7つの独立して選択されたパッチセットからの特徴をSVMを用いて統合することで、照合精度が98.97%から99.15%に向上し、マルチスケール・マルチリージョン特徴の統合による利点が明らかになった。
• 背景情報や外部データを必要としないLFW上での高い性能から、モデルが新しいアイデンティティやタスクに対しても良好に一般化できていることが裏付けられた。