[論文レビュー] One-shot Face Recognition by Promoting Underrepresented Classes

Yandong Guo, Lei Zhang|arXiv (Cornell University)|Jul 18, 2017

Face recognition and analysis参考文献 30被引用数 103

ひとこと要約

論文は大規模顔認識の学習データの不均衡に対して、Classification Vector-Centered Cosine Similarity (CCS) loss を追加して堅牢な特徴を学習し、さらに multinomial logistic regression の際に一-shot クラスを強化する Underrepresented-Classes Promotion (UP) loss を導入します。

ABSTRACT

In this paper, we study the problem of training large-scale face identification model with imbalanced training data. This problem naturally exists in many real scenarios including large-scale celebrity recognition, movie actor annotation, etc. Our solution contains two components. First, we build a face feature extraction model, and improve its performance, especially for the persons with very limited training samples, by introducing a regularizer to the cross entropy loss for the multi-nomial logistic regression (MLR) learning. This regularizer encourages the directions of the face features from the same class to be close to the direction of their corresponding classification weight vector in the logistic regression. Second, we build a multi-class classifier using MLR on top of the learned face feature extraction model. Since the standard MLR has poor generalization capability for the one-shot classes even if these classes have been oversampled, we propose a novel supervision signal called underrepresented-classes promotion loss, which aligns the norms of the weight vectors of the one-shot classes (a.k.a. underrepresented-classes) to those of the normal classes. In addition to the original cross entropy loss, this new loss term effectively promotes the underrepresented classes in the learned model and leads to a remarkable improvement in face recognition performance. We test our solution on the MS-Celeb-1M low-shot learning benchmark task. Our solution recognizes 94.89% of the test images at the precision of 99\% for the one-shot classes. To the best of our knowledge, this is the best performance among all the published methods using this benchmark task with the same setup, including all the participants in the recent MS-Celeb-1M challenge at ICCV 2017.

研究の動機と目的

• アイデンティティ間で学習データが高度に不均衡な場合でも頑健な顔表現学習を動機づける。 including one-shot classes.
• 識別的特徴方向を促進する正則化クロスエントロピー objective を開発する。
• 一-shot クラスの重みノルムを基底クラスと揃える UP loss を導入し、一般化能力を向上させる。
• ベースセットから強い特徴抽出器を学習し、ベース＋低ショットクラス用のブーストされた分類器を二段階で評価する。
• 再現性のあるベンチマークを公開し、ベースセットと低ショットセットを用意して一 shot 顔認識研究を促進する。

提案手法

• 標準のクロスエントロピーと CC s 項を組み合わせた損失を用いて ResNet-34 の特徴抽出器を学習し、特徴方向を対応するクラス重みベクトルと合わせる。
• CCS loss は各サンプルの特徴とそのクラス重みベクトルとのコサイン類似度を計算し、方向を揃える。
• Softmax 分類器のバイアス項を削除して、意思決定空間の幾何を明確化する。
• 学習した特徴の上に多項ロジスティック回帰分類器を訓練する。標準的な MLR の性能は小さなクラス分割のため一-shot クラスで劣化する。
• ベースクラスと低ショットクラスの平均二乗ノルムの平方差をペナルティする UP loss を導入し、低んに表示されるクラスの大きく、よりバランスの取れたクラス分割を促進する。
• UP を他の事前分布（l2 ノルムペナルティ、等ノルム制約）と比較して有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 不均衡な顔データセットで角度的正则化器（CCS）は識別的特徴学習を改善できるか？
• RQ2 Underrepresented-class の重みノルムを促進する UP loss は、ベースクラスの性能を損なうことなく一-shot クラスの認識を改善できるか？
• RQ3 CCS と UP は標準のクロスエントロピーとどのように相互作用して大規模な顔ベンチマークで一-shot 学習を強化するか？
• RQ4 不均衡な学習データが顔認識における MLR の重みノルムとクラス決定境界に及ぼす影響は何か？
• RQ5 提案された二段階アプローチは MS-Celeb-1M の low-shot ベンチマークでベースラインと比較してどう機能するか？

主な発見

Method	C@ 99%	C@ 99.9%
Fixed Feature	25.65%	0.89%
SGM [8]	27.23%	4.24%
Update Feature	26.09%	0.97%
Direct Train	15.25%	0.84%
Shrink Norm (Eq.12)	32.58%	2.11%
Equal Norm (Eq.13)	32.56%	5.18%
UP Only (Eq.10)	77.48%	47.53%
CCS Only (Eq.4)	62.55%	11.13%
Our: CCS (4) plus UP (10)	94.89%	83.60%
Hybrid [28]	92.64%	N/A
Doppelganger [19]	73.86%	N/A
Generation-based [3]	61.21%	N/A

• CCS により LFW の検証精度は 99.71%（ベースラインの CCS 損失変種での 99.28% と比較）に向上し、特徴識別力が強化される。
• CCS と組み合わせた UP の使用は、低ショットのテスト画像で 99% precision 時に 94.89%、99.9% precision 时に 83.60% のカバレージを達成し、挙げられた全ての代替案を上回る。
• UP 項を用いない場合、標準 MLR での 99% precision の低ショットのカバレージは 25.65% に低下し、一-shot 学習の課題を浮き彫りにする。
• 表4は、同じ設定で CCS+UP が MS-Celeb-1M の low-shot ベンチマークで最も良い一-shot 性能を示す：99% 精度で 94.89%、99.9% 精度で 83.60% 。
• ベースセットの性能は高いまま（彼らの設定で Top-1 99.8%）で、低ショット認識を改善。
• 提案手法は再現性のあるベンチマークを確立し、ベースラインやいくつかの代替正則化手法に対して有意な改善を示す。