[論文レビュー] SDD-FIQA: Unsupervised Face Image Quality Assessment with Similarity Distribution Distance

Fu-Zhao Ou, Xingyu Chen+7 more|arXiv (Cornell University)|Mar 10, 2021

Face recognition and analysis参考文献 32被引用数 9

ひとこと要約

SDD-FIQAは、クラス内類似度分布とクラス間類似度分布の Wasserstein 距離を品質の疑似ラベルとして活用することで、ラベルフリーな顔画像品質評価を実現する非教師付き手法を提案する。この手法は、複数のベンチマークおよび認識モデルにおいて最先端の性能を示し、高い正確性と一般化性能を有する。

ABSTRACT

In recent years, Face Image Quality Assessment (FIQA) has become an indispensable part of the face recognition system to guarantee the stability and reliability of recognition performance in an unconstrained scenario. For this purpose, the FIQA method should consider both the intrinsic property and the recognizability of the face image. Most previous works aim to estimate the sample-wise embedding uncertainty or pair-wise similarity as the quality score, which only considers the information from partial intra-class. However, these methods ignore the valuable information from the inter-class, which is for estimating to the recognizability of face image. In this work, we argue that a high-quality face image should be similar to its intra-class samples and dissimilar to its inter-class samples. Thus, we propose a novel unsupervised FIQA method that incorporates Similarity Distribution Distance for Face Image Quality Assessment (SDD-FIQA). Our method generates quality pseudo-labels by calculating the Wasserstein Distance (WD) between the intra-class similarity distributions and inter-class similarity distributions. With these quality pseudo-labels, we are capable of training a regression network for quality prediction. Extensive experiments on benchmark datasets demonstrate that the proposed SDD-FIQA surpasses the state-of-the-arts by an impressive margin. Meanwhile, our method shows good generalization across different recognition systems.

研究の動機と目的

• 認識可能性に不可欠なクラス間類似度を無視する、従来のFIQA手法がクラス内類似度や埋め込みの不確実性にのみ注目しているという限界を是正する。
• クラス内およびクラス間類似度分布をモデル化することで、品質評価と認識性能を直接結びつけるラベルフリーなFIQAフレームワークを構築する。
• トレーニングおよびテスト段階で複数の認識モデルを用いることで、多様な認識モデルにおける一般化性能を向上させる。
• 類似度分布距離に基づく認識可能性推定問題としてのFIQAの新たなパラダイムを確立する。

提案手法

• 事前学習済みの認識モデルを用いて、各顔画像のクラス内類似度（Pos-Sim）およびクラス間類似度（Neg-Sim）の分布を収集する。
• Pos-Sim と Neg-Sim の分布間の Wasserstein 距離（WD）を計算し、クラス内とクラス間類似度の分離度を反映する品質の疑似ラベルとする。
• Huber損失を用いて回帰ネットワークを訓練し、疑似ラベルから品質スコアを予測する。これにより、人為的ラベルなしでエンドツーエンド学習が可能になる。
• 類似度分布距離のO(n)実装を導入することで、時間計算量をO(n²)から削減し、効率的な最適化を実現する。
• 計算コストと精度のバランスを考慮し、固定された上位k個の近隣（K=12）およびm組の類似度ペア（m=24）を採用する。
• 複数の認識モデル（例：ResNet101-MSIM、ResNet101-CASIA）を用いてフレームワークを適用し、一般化性能を評価する。

Figure 1: Our method simultaneously considers similarities of the target sample (red point) with intra-class samples (green points), and with inter-class samples (yellow points). The distribution distance between Pos-Sim and Neg-Sim is calculated as the quality pseudo-label, which is more amicable t

実験結果

リサーチクエスチョン

• RQ1 クラス内およびクラス間類似度分布の両方をモデル化することで、クラス内情報に依存する従来手法を上回る顔画像品質評価が可能になるか？
• RQ2 非教師付き設定において、類似度分布間の Wasserstein 距離が顔画像品質の代理指標としてどれほど有効か？
• RQ3 提案手法は、異なる顔認識モデルおよびデータセットに対して良好に一般化するか？
• RQ4 ハイパーパrameter K（近隣数）および m（類似度ペア数）が、手法の性能に与える影響は何か？
• RQ5 クラス内類似度情報のみ、またはクラス間類似度情報のみを用いる場合と比較して、両方を組み合わせた情報が品質ラベリングに与える影響は？

主な発見

• LFW、Adience、IJB-C データセットにおいてSDD-FIQAは最先端の性能を達成し、FMR=1e-2における平均AUCが0.6898に達し、PCNet（0.6369）を上回った。
• IJB-C データセットでは、FMR=1e-2におけるAUCが0.6768に達し、2番目に優れた手法であるPCNet（0.6537）を上回った。
• 本手法は強力な一般化性能を示した。ResNet101-CASIA をデプロイドモデルとして使用した場合、Adience では0.5790のAUC、IJB-C では0.6768のAUCを達成し、学習ベースのベースラインを著しく上回った。
• アブレーションスタディの結果、クラス内およびクラス間類似度分布の両方を用いることで最良の性能が得られ、Pos-Only がNeg-Only より優れており、SDD-FIQAの完全な手法が最高のAUCを達成した。
• パラメトリックスタディの結果、K=12およびm=24でAUCが安定化・収束することが示され、この範囲内でハイパーパrameterの選択に対して頑健であることが確認された。
• SDDのO(n)実装により、計算量がO(n²)から削減され、大規模データセットへの効率的なデプロイが可能になった。

Figure 2: The framework of SDD-FIQA. Step 1: The training data traverses the face recognition model, then its Pos-Sim and Neg-Sim are collected. Step 2: The Wasserstein distance between the Pos-Sim and Neg-Sim is calculated as the quality pseudo-label. Step 3: The quality regression network is train