[論文レビュー] NPCFace: Negative-Positive Collaborative Training for Large-scale Face Recognition

Dan Zeng, Hailin Shi+4 more|arXiv (Cornell University)|Jul 20, 2020

Face recognition and analysis参考文献 50被引用数 11

ひとこと要約

NPCFaceは、ソフトマックスのログイットに共同マージン機構を導入することで、大規模な顔認識において、ハードなポジティブ（クラス内）およびハードなネガティブ（クラス間）サンプルの相関を明示的にモデル化する新しい損失関数を提案する。各サンプルに対してポジティブおよびネガティブのログイットの両方のマージンを同時に最適化することにより、特に低偽受容率（FAR）領域で最先端の性能を達成し、IJB-Cで1e-5 FARの条件下で77.01%の検証率を達成した。また、MS-Celeb-1Mでのトレーニング時間はわずか6.1%増加にとどまる。

ABSTRACT

The training scheme of deep face recognition has greatly evolved in the past years, yet it encounters new challenges in the large-scale data situation where massive and diverse hard cases occur. Especially in the range of low false accept rate (FAR), there are various hard cases in both positives (intra-class) and negatives (inter-class). In this paper, we study how to make better use of these hard samples for improving the training. The literature approaches this by margin-based formulation in either positive logit or negative logits. However, the correlation between hard positive and hard negative is overlooked, and so is the relation between the margins in positive and negative logits. We find such correlation is significant, especially in the large-scale dataset, and one can take advantage from it to boost the training via relating the positive and negative margins for each training sample. To this end, we propose an explicit collaboration between positive and negative margins sample-wisely. Given a batch of hard samples, a novel Negative-Positive Collaboration loss, named NPCFace, is formulated, which emphasizes the training on both negative and positive hard cases via the collaborative-margin mechanism in the softmax logits, and also brings better interpretation of negative-positive hardness correlation. Besides, the emphasis is implemented with an improved formulation to achieve stable convergence and flexible parameter setting. We validate the effectiveness of our approach on various benchmarks of large-scale face recognition, and obtain advantageous results especially in the low FAR range.

研究の動機と目的

• ハードなポジティブおよびハードなネガティブサンプルが頻繁に共存する大規模な顔認識の課題に対処すること。特に、低偽受容率（FAR）領域において。
• 従来の手法がハードなポジティブおよびネガティブサンプルを独立して扱うという制限を克服し、マージン最適化においてそれらの相関をモデル化すること。
• サンプルごとの共同マージン機構を通じて、ハードなポジティブおよびネガティブサンプルを同時に強調するトレーニング損失を開発すること。
• ネガティブログイットにおける改善されたマージン定式化を通じて、安定した収束と柔軟なハイパーパrameterチューニングを確保すること。
• 特に挑戦的な低FARシナリオにおいて、大規模なベンチマークで優れた性能を達成すること。

提案手法

• NPCFaceは、ソフトマックス層におけるポジティブおよびネガティブログイットの両方に共同マージンを適用する新しい損失関数を導入し、ハードなクラス内およびクラス間サンプルの相関を明示的にモデル化する。
• 各トレーニングサンプルに対して、ハードなポジティブおよびネガティブサンプルの両方に焦点を当てるバランスの取れたサンプルごとのマージンを計算し、埋め込み空間における識別性を向上させる。
• 損失定式化は、安定した最適化と柔軟なハイパーパrameter制御を実現するため、ネガティブログイットにおける改善されたマージンパrameterizationを組み込む。
• マージンは、ポジティブおよびネガティブサンプルの両方の難易度に基づいて動的に調整され、より良い特徴分離を促進する。
• 既存の深層顔認識フレームワークと互換性があり、計算コストの増加は最小限に抑えられ、MS-Celeb-1Mでのトレーニング時間はわずか6.1%増加にとどまる。
• CASIA-WebFace、MS-Celeb-1M、IJB-B、IJB-Cを含む複数のベンチマークにおけるアブレーションスタディおよび比較を通じて、手法の有効性が検証された。

実験結果

リサーチクエスチョン

• RQ1 ハードなポジティブおよびネガティブサンプル間の相関を、大規模な顔認識におけるトレーニング改善にどう活用できるか？
• RQ2 ポジティブおよびネガティブログイットを同時に最適化する共同マージン機構は、より良い一般化性およびロバストネスをもたらすか？
• RQ3 提案されたNPCFace損失は、特に低FAR領域において、既存のマージンベースの損失よりも優れた性能を達成するか？
• RQ4 標準のマージンベース損失と比較して、サンプルごとの共同マージンを適用する際の計算コストはどの程度か？
• RQ5 ネガティブログイットにおける改善されたマージン定式化は、安定した収束と柔軟なハイパーパrameterチューニングを保証できるか？

主な発見

• MS-Celeb-1Mでは、1e-4 FARの条件下で99.83%、1e-5 FARの条件下で99.36%の検証率を達成し、このベンチマークですべての先行手法を上回った。
• IJB-BおよびIJB-Cベンチマークでは、それぞれ1e-5 FARの条件下で92.02%および85.59%の検証率を達成し、次に優れた手法であるCurricularFaceを大きく上回った。
• IJB-Cでは、1e-5 FARの条件下でArcFaceに比べ2.46ポイント、CurricularFaceに比べ1.51ポイントの検証率向上を達成した。
• 100kのアイデンティティでトレーニングする際、MS-Celeb-1MでのNPCFaceの計算コストは、CosFaceおよびArcFaceと比較してわずか6.1%増加にとどまり、その効率性が裏付けられた。
• アブレーションスタディの結果、共同マージン機構が、特に困難なケースにおいて、ハードなポジティブおよびネガティブサンプル間の相関を効果的に活用することで、性能向上が顕著に見られた。
• ネガティブログイットにおける改善されたマージン定式化により、複数のトレーニング設定で検証されたように、より安定した収束と柔軟なパラメータチューニングが実現された。