[論文レビュー] CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition

Yuge Huang, Yuhan Wang+6 more|arXiv (Cornell University)|Apr 1, 2020

Face recognition and analysis参考文献 38被引用数 30

ひとこと要約

CurricularFaceは、トレーニング中に負のコサイン類似度を適応的に調整することにより、初期には容易なサンプルを強調し後半には難しいサンプルを強調する適応カリキュラム学習損失を導入し、最先端の顔認識性能を向上させます。

ABSTRACT

As an emerging topic in face recognition, designing margin-based loss functions can increase the feature margin between different classes for enhanced discriminability. More recently, the idea of mining-based strategies is adopted to emphasize the misclassified samples, achieving promising results. However, during the entire training process, the prior methods either do not explicitly emphasize the sample based on its importance that renders the hard samples not fully exploited; or explicitly emphasize the effects of semi-hard/hard samples even at the early training stage that may lead to convergence issue. In this work, we propose a novel Adaptive Curriculum Learning loss (CurricularFace) that embeds the idea of curriculum learning into the loss function to achieve a novel training strategy for deep face recognition, which mainly addresses easy samples in the early training stage and hard ones in the later stage. Specifically, our CurricularFace adaptively adjusts the relative importance of easy and hard samples during different training stages. In each stage, different samples are assigned with different importance according to their corresponding difficultness. Extensive experimental results on popular benchmarks demonstrate the superiority of our CurricularFace over the state-of-the-art competitors.

研究の動機と目的

• 顔認識におけるマージンベースおよびマイニングベースの損失を動機づけ、それらの収束およびサンプリングの問題に対処する。
• トレーニング中にサンプルを選択し重み付けする適応カリキュラム学習損失を導入する。
• 手動のハイパーパラメータ調整なしで訓練段階に応じて調整する変調関数を負のコサイン類似度に対して設計する。
• SOTA手法と比較して、共通の顔ベンチマークで検証/識別性能が向上することを示す。

提案手法

• 難しいサンプルを適応的に重み付けする新たな変調I(t, cos theta_j)を通じてカリキュラム学習を損失に組み込む。
• N(t, cos theta_j) = cos theta_j (容易/難しい境界ケース) 、N(t, cos theta_j) = (t + cos theta_j) cos theta_j (難しいサンプル) を定義する。
• 訓練段階を追跡するために正のコサイン類似度の指数移動平均を用いて t をオンライン推定する（t^{(k)} = α r^{(k)} + (1-α) t^{(k-1)}）。
• マージンベースの正の類似度 T(cos theta_y_i) = cos(theta_y_i + m) としてArcFaceを採用し、softmax損失の負の類似度にN(t, cos theta_j)を適用する。
• 3つのケース（y_i, 易しい負例, 難しい負例）で x_i と W_j に対するSGD対応勾配を提供する。
• CurricularFaceをArcFaceおよびMV-Arc-Softmaxと比較し、難サンプルの適応ウェイト付けと訓練中の段階的強調を強調する。

実験結果

リサーチクエスチョン

• RQ1 適応カリキュラム学習は、固定マージンおよび固定マイニング損失を超えて深層顔認識の識別性を改善できるか。
• RQ2 オンラインの難サンプルの適応重み付けは、より小さなバックボーンとさまざまなベンチマークで収束を促進するか。
• RQ3 CurricularFaceは標準の検証/識別ベンチマークでArcFaceおよびMV-Arc-Softmaxと比較してどのように性能を示すか。
• RQ4 提案されたt推定機構はデータセットとバックボーンモデルを横断して頑健か。

主な発見

• CurricularFaceは、MS1MV2 / ResNetバックボーンを用いたLFW、CFP-FP、CPLFW、AgeDB、CALFW、IJB-B、IJB-C、MegaFaceで最先端と競合する結果を達成する。
• MS1MV2-ResNet100を用いたLFWおよびCFP-FP/CPLFWベンチマークで、CurricularFaceはそれぞれ99.80%（LFW）、98.37%（CFP-FP）および93.13%（CPLFW）を達成し、ArcFaceおよびMV-Arc-Softmaxをいくつかの指標で上回る。
• オンラインのt推定は固定t値より検証精度を向上させ、cos theta_y_iの平均の適応が試された戦略の中で最良の結果をもたらす。
• CurricularFaceは、ArcFaceが発散する可能性のある小さなバックボーン（例: MobileFaceNet）に対する収束の頑健性を示し、m=0.5または0.45で収束する。
• MegaFaceおよびIJB-B/IJB-C全体で、CurricularFaceは強力なベースラインに対して単一モデルの識別/検証スコアをリードする。
• 本手法はArcFaceに比べて計算オーバーヘッドが最小で、1イテレーションあたりの訓練時間はP40 GPUで0.378s対0.370sである。