[論文レビュー] Data Uncertainty Learning in Face Recognition

Jie Chang, Zhonghao Lan+2 more|arXiv (Cornell University)|Mar 25, 2020

Face recognition and analysis参考文献 57被引用数 9

ひとこと要約

本稿では、顔認識のためのデータ不確実性学習（DUL）を提案する。これは、初めて確率的潜在空間において特徴埋め込み（平均）と不確実性（分散）を同時に学習するものである。分類または回帰ベースの手法を用いて、平均と分散をエンドツーエンドで訓練することで、クラス内コンパクト性とクラス間分離性が向上し、決定的モデルやPFEといった先行研究を上回る性能を示す。特にノイズが多い条件下でも優れた性能を発揮する。

ABSTRACT

Modeling data uncertainty is important for noisy images, but seldom explored for face recognition. The pioneer work, PFE, considers uncertainty by modeling each face image embedding as a Gaussian distribution. It is quite effective. However, it uses fixed feature (mean of the Gaussian) from an existing model. It only estimates the variance and relies on an ad-hoc and costly metric. Thus, it is not easy to use. It is unclear how uncertainty affects feature learning. This work applies data uncertainty learning to face recognition, such that the feature (mean) and uncertainty (variance) are learnt simultaneously, for the first time. Two learning methods are proposed. They are easy to use and outperform existing deterministic methods as well as PFE on challenging unconstrained scenarios. We also provide insightful analysis on how incorporating uncertainty estimation helps reducing the adverse effects of noisy samples and affects the feature learning.

研究の動機と目的

• 既存の顔認識モデルが埋め込みを決定的点として扱うという限界に対処する。これは、ノイズが多いまたは低品質な画像に内在するデータレベルの不確実性を無視しているためである。
• PFEのような先行研究の制約を克服する。PFEは平均埋め込みを固定し、分散の学習のみを実施しており、共同最適化が制限されており、複雑な類似度メトリクスを必要としている。
• 同一のアイデンティティ特徴（平均）とその不確実性（分散）を同時に学習する統合フレームワークを構築し、コサイン距離のような標準的な類似度メトリクスの使用を可能にする。
• 学習された不確実性がモデル学習に与える影響、特に最適化中にノイズの多いサンプルの悪影響を軽減するメカニズムを分析する。
• 劣化した画像品質を示す実世界の制約のない顔認識ベンチマークにおいて、より高いロバスト性と性能を示すことを実証する。

提案手法

• DUL clsを提案する。分類ベースの手法で、ガウス分布出力を持つ顔認識モデルを、平均（μ）と分散（σ）をエンドツーエンドで最適化する形で、スクラッチから訓練する。
• DUL rgsを導入する。回帰ベースの手法で、事前学習済みの顔認識モデルに分散ヘッドを追加し、不確実性を予測することで、μとσの共同学習を可能にする。
• 表現能力と一般化性能のバランスを図るために、KLダイバージェンス項を含む変分推論の目的関数を用いて不確実性推定を正則化する。
• KLダイバージェンスの影響を制御するためのトレードオフハイパーパrameter λ を用いた、変更されたAM-Softmax損失を採用し、不確実性の割り当てを適応的に可能にする。
• PFEで使用される複雑な相互尤度スコア（MLS）の代わりに、推論時に標準的なコサイン類似度を直接利用可能にする。
• 実世界の画像劣化を模倣するため、トレーニング中にデータ拡張とノイズ注入を適用し、ロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴平均と不確実性の共同学習は、決定的モデルと比較してどのように顔認識性能を向上させるか？
• RQ2 平均と分散のエンドツーエンド学習は、潜在空間におけるクラス内コンパクト性とクラス間分離性をどのように向上させるか？
• RQ3 学習された不確実性は、特にノイズの多いまたは低品質なトレーニングサンプルの影響を軽減する点で、モデル学習にどのように影響を与えるか？
• RQ4 トレーニングデータに顕著な画像ノイズやラベルの不正が含まれる場合、提案手法は性能を維持または向上させられるか？
• RQ5 MLSのような専用メトリクスを必要とせず、標準的な類似度メトリクスを用いても、最先端の性能を達成できるか？

主な発見

• DUL cls および DUL rgs は、YTF、MegaFace、IJB-C といった主要ベンチマークで決定的モデルや PFE を上回る性能を示し、特に低品質な画像を含むデータセットで最大の向上を示す。
• IJB-Cベンチマークでは、DUL cls が λ=0.01 時に FPR における真陽性率（TPR）を 92.78% に達し、PFE の 91.33% やベースラインの 88.65% を大きく上回る。
• MS-Celeb-1M を 40% のガウスブラーを含む状態で学習した場合、DUL cls は IJB-C で 95.85% の精度を維持するが、PFE は 94.82%、ベースラインは 93.73% にとどまる。
• トレードオフハイパーパrameter λ は、不確実性の表現能力を制御する。λ=0 だとほぼ決定的予測に近づき、λ=1.0 だとすべてのサンプルに大きな分散が割り当てられ、性能が低下する。
• 定性的な分析では、DUL cls がノイズの多いサンプルに対しては大きな分散、クリアなサンプルに対しては小さな分散を割り当てており、ロバストネスと特徴品質の向上が確認された。
• 本手法により、PFEで使用される計算コストの高い相互尤度スコア（MLS）の代わりに、標準的なコサイン類似度を直接推論に使用可能となった。