[論文レビュー] AdaFace: Quality Adaptive Margin for Face Recognition

Minchul Kim, Anil K. Jain+1 more|arXiv (Cornell University)|Apr 3, 2022

Face recognition and analysis被引用数 6

ひとこと要約

AdaFaceは、特徴量のノルムを品質の代理指標として用い、画像品質に応じて学習の重点を動的に調整する品質適応型マージン損失を提案する。高品質な画像では難易度の高いサンプルを重視し、低品質な画像における識別不能（非常に難易度の高い）サンプルを軽視することで、IJB-B、IJB-C、IJB-S、TinyFaceといった低品質および混合品質の顔認識ベンチマークで最先端の性能を達成する。

ABSTRACT

Recognition in low quality face datasets is challenging because facial attributes are obscured and degraded. Advances in margin-based loss functions have resulted in enhanced discriminability of faces in the embedding space. Further, previous studies have studied the effect of adaptive losses to assign more importance to misclassified (hard) examples. In this work, we introduce another aspect of adaptiveness in the loss function, namely the image quality. We argue that the strategy to emphasize misclassified samples should be adjusted according to their image quality. Specifically, the relative importance of easy or hard samples should be based on the sample's image quality. We propose a new loss function that emphasizes samples of different difficulties based on their image quality. Our method achieves this in the form of an adaptive margin function by approximating the image quality with feature norms. Extensive experiments show that our method, AdaFace, improves the face recognition performance over the state-of-the-art (SoTA) on four datasets (IJB-B, IJB-C, IJB-S and TinyFace). Code and models are released in https://github.com/mk-minchul/AdaFace.

研究の動機と目的

• 訓練データにおける識別不能な顔画像の課題に対処し、低品質データセットにおけるモデル性能の低下を防ぐ。
• サンプルの難易度と画像品質に基づいて損失関数の重要度を適応的に調整することで、顔認識のロバスト性を向上させる。
• 低品質画像における識別不能（非常に難易度の高い）サンプルを過剰に重視することを避けつつ、識別可能な難易度の高いサンプルに焦点を当てる損失関数を設計する。
• 特徴量のノルムが損失関数の適応において画像品質の有効な代理指標として機能することを示す。
• 画像品質が異なる多様な顔認識ベンチマークで最先端の性能を達成する。

提案手法

• 深い埋め込みの特徴量ノルムを画像品質の代理指標として用い、損失関数に適応的マージン関数を導入する。
• 高い特徴量ノルムは高品質な画像を示し、これにより難易度の高いサンプルの重視が強化される。低いノルムは低品質な画像を示し、非常に難易度の高いサンプルの重視が軽視される。
• マージン関数をArcFace損失フレームワークに統合し、サンプルの特徴量ノルムに応じて角度マージンを変更することで勾配スケールを制御する。
• 追加の学習可能な層や二段階訓練を必要とせず、既存の顔認識バックボーンと容易に統合可能である。
• 一度の統合された損失関数で難易度と品質の両方の認識を組み合わせることで、カリキュラム学習を暗黙的に処理する。
• 外部の品質推定やヒューリスティックなしきい値を必要とせず、エンドツーエンドで最適化される。

実験結果

リサーチクエスチョン

• RQ1 画像品質を有効に活用して、顔認識の訓練中に難易度の高いサンプルと易しいサンプルの重要度を動的に制御できるか？
• RQ2 特徴量のノルムを画像品質の代理指標として用いることで、低品質顔認識データセットにおける一般化性能が向上するか？
• RQ3 サンプルの難易度と画像品質の両方に適応する統合損失関数が、混合および低品質データセットで標準的なマージンベース損失を上回るか？
• RQ4 識別不能な画像に対する耐性という観点から、提案された適応的マージン関数は既存手法と比較して優れているか？
• RQ5 IJB-B、IJB-C、IJB-S、TinyFaceのような画像品質が異なるベンチマークにおいて、適応的損失がどの程度性能を向上させるか？

主な発見

• AdaFaceは、IJB-B、IJB-C、IJB-S、TinyFaceの各データセットで最先端の性能を達成し、低品質ベンチマークにおいて第二位の手法と比較して平均で3.5%のRank-1性能向上を達成した。
• IJB-BおよびIJB-Cでは、第二位の手法と比較してそれぞれ11%および9%の誤差低減を達成し、混合品質環境下での顕著な向上を示した。
• IJB-Sでは、第二位の手法と比較してTPIR@FPIR=1%で2.4%の向上を達成し、低品質サンプルへの一般化性能の向上を示した。
• 追加の学習可能な層や二段階訓練を必要とせず、高品質データセットにおいてもBroadFace、SCF-ArcFace、VPL-ArcFaceといった競合ベースラインを上回った。
• AdaFaceは、MS1MV3およびWebFace4Mを含む複数のデータセットで最先端の結果を達成し、多様なトレーニングデータ分布にわたるロバスト性を示した。
• 特徴量ノルムを品質の代理指標として用いることで、外部の品質アノテーションやヒューリスティックなしきい値を一切必要とせず、効果的かつスムーズにマージン関数を適応可能にした。