[論文レビュー] MagFace: A Universal Representation for Face Recognition and Quality Assessment

Qiang Meng, Shichao Zhao+2 more|arXiv (Cornell University)|Mar 11, 2021

Face recognition and analysis参考文献 45被引用数 37

ひとこと要約

MagFace は特徴量の大きさが品質指標として機能する universal face embedding を学習し、適応マージンを導くことで認識、品質評価、およびクラスタリングを追加の品質ラベルなしで改善する。

ABSTRACT

The performance of face recognition system degrades when the variability of the acquired faces increases. Prior work alleviates this issue by either monitoring the face quality in pre-processing or predicting the data uncertainty along with the face feature. This paper proposes MagFace, a category of losses that learn a universal feature embedding whose magnitude can measure the quality of the given face. Under the new loss, it can be proven that the magnitude of the feature embedding monotonically increases if the subject is more likely to be recognized. In addition, MagFace introduces an adaptive mechanism to learn a wellstructured within-class feature distributions by pulling easy samples to class centers while pushing hard samples away. This prevents models from overfitting on noisy low-quality samples and improves face recognition in the wild. Extensive experiments conducted on face recognition, quality assessments as well as clustering demonstrate its superiority over state-of-the-arts. The code is available at https://github.com/IrvingMeng/MagFace.

研究の動機と目的

• 別個の品質ラベルを用いず、入力顔の品質を考慮したエンドツーエンドの顔認識システムを動機づける。
• 顔埋め込み空間内で大きさを品質指標として導入する。
• 大きさ認識角度マージンと正則化項を備えた MagFace Loss を開発し、クラス内分布を整形する。
• 標準的なベンチマークで顔認識、品質評価、クラスタリングの改善を示す。

提案手法

• 大きさ a_i = ||f_i|| を定義し、2つの補助関数: 大きさ認識マージン m(a_i) および正則化項 g(a_i) を定義する。
• ArcFace を拡張し、固定マージンを m(a_i) に置換し、正則化項 lambda_g g(a_i) を追加する。
• 2つの性質を証明する：収束性（L_i は一意の最適解 a_i^* を持つ厳密に凸性）と単調性（中心との cos 距離が小さくなると a_i^* が増加する）。
• より大きな大きさはより高い顔品質とより良い認識可能性に対応する一方、低品質のサンプルは制約付きの可行領域内で原点へ引っ張られると主張する。

実験結果

リサーチクエスチョン

• RQ1 特徴量の大きさを認識モデル内のラベルなしの信頼できる顔品質指標として使用できるか。
• RQ2 大きさ認識ロスは制約のない条件下でクラス内構造とクラス間分離を改善するか。
• RQ3 MagFace は認識に加えて品質評価とクラスタリングなどの下流タスクを改善できるか。
• RQ4 大きさ認識マージンはサンプルの難易度に適応し、ノイズへの過適合を防ぐか。

主な発見

• MagFace は複数のベンチマーク（LFW、CFP-FP、AgeDB-30、CALFW、CPLFW、IJB-B、IJB-C）で ArcFace および他のベースラインと比較してトップレベルの検証精度を達成する。
• 学習済み特徴量の大きさは認識難易度とクラス中心の近さと相関し、追加のラベルなしで品質意識の重み付けを実現する。
• MagFace は K-means、AHC、DBSCAN、L-GCN などのクラスタリング性能を向上させ、F値と NMI 指標で ArcFace ベースラインを上回る。
• 定性的分析では平均顔が大きさが高いほどより細かくなり、MagFace の品質表現を示している。
• MagFace+（大きさ重み付き集約）は IJB-B/C ベンチマークで識別埋め込みをさらに改善する。
• MagFace の大きさベースの品質評価は、複数のデータセットにおいていくつかの画像ベースおよび顔ベースのベースラインを上回る。