[論文レビュー] Towards Universal Representation Learning for Deep Face Recognition

Yichun Shi, Yu Xiang+3 more|arXiv (Cornell University)|Feb 26, 2020

Face recognition and analysis参考文献 41被引用数 14

ひとこと要約

本稿では、ターゲットドメインデータを必要とせずに、ぼやけや部分的遮蔽、ポーズ変化などの極端な変化に対しても一般化性能を向上させる、ユニバーサルな深層顔認識表現学習フレームワークを提案する。特徴量を信頼度に配慮したサブ埋め込みに分割し、変化分類損失と adversarial 損失を用いてそれらを相関から分離することで、IJB-S や TinyFace といった困難なベンチマークで最先端の性能を達成するとともに、LFW や MegaFace といった標準的なデータセットに対しても強力な結果を維持する。

ABSTRACT

Recognizing wild faces is extremely hard as they appear with all kinds of variations. Traditional methods either train with specifically annotated variation data from target domains, or by introducing unlabeled target variation data to adapt from the training data. Instead, we propose a universal representation learning framework that can deal with larger variation unseen in the given training data without leveraging target domain knowledge. We firstly synthesize training data alongside some semantically meaningful variations, such as low resolution, occlusion and head pose. However, directly feeding the augmented data for training will not converge well as the newly introduced samples are mostly hard examples. We propose to split the feature embedding into multiple sub-embeddings, and associate different confidence values for each sub-embedding to smooth the training procedure. The sub-embeddings are further decorrelated by regularizing variation classification loss and variation adversarial loss on different partitions of them. Experiments show that our method achieves top performance on general face recognition datasets such as LFW and MegaFace, while significantly better on extreme benchmarks such as TinyFace and IJB-S.

研究の動機と目的

• ターゲットドメインデータに依存せずに、未観測の変化に一般化できるユニバーサルな顔認識表現の開発。
• データ拡張におけるハードな増幅サンプル（例：ぼやけ、遮蔽、ポーズ変化）によって引き起こされる学習不安定性の緩和。
• 個々の信頼度値を有するサブ埋め込みに分解することで、特徴量の識別性能と耐障害性の向上。
• 変化分類損失と adversarial 損失を用いてサブ埋め込みの相関を除去することで、表現力の強化。
• 各サブ埋め込みの不確実性に基づいて確率的集約を行うことで、効果的な推論の実現。

提案手法

• 深層特徴量を複数のサブ埋め込みに分割し、各サブ埋め込みに個々のサンプルおよびサブ埋め込み固有の信頼度値を割り当てることで、ハードな増幅サンプルにおける学習の安定化を図る。
• 個々のサンプルおよびサブ埋め込みの不確実性に基づいて学習ダイナミクスを調整する、信頼度に配慮した識別損失を導入。
• サブ埋め込みが特定の変化（例：ポーズ、ぼやけ）を予測するよう促すために、変化分類損失を適用。これにより、分離性が促進される。
• 特定の変化要因に対して不変となるようにするため、変化 adversarial 損失を用いてサブ埋め込みの相関をさらに除去。
• 推論段階では、サブ埋め込みの不確実性スコアに基づいて重み付けを行う確率的集約戦略を採用し、耐障害性を向上。
• MS-Celeb-1M に合成データ拡張を適用し、低解像度、遮蔽、頭部ポーズなどの名前付き変化を導入。

実験結果

リサーチクエスチョン

• RQ1 1つの深層顔モデルが、ターゲットドメインデータを一切用いずに、多様で未観測の変化に強く一般化できるか。
• RQ2 ぼやけた顔や部分的遮蔽のある顔といったハードな増幅サンプルによって引き起こされる学習不安定性は、どのように緩和できるか。
• RQ3 サブ埋め込みの分解と相関除去によって、極端な変化に対する耐障害性はどの程度向上するか。
• RQ4 サブ埋め込みの不確実性に配慮した集約戦略は、低品質または分布外の顔画像において性能をどのように向上させるか。
• RQ5 IJB-S や TinyFace といった標準的でないベンチマークでも良好に動作するユニバーサルな表現を学習可能か。

主な発見

• 提案手法は IJB-S ベンチマークで最先端の性能を達成し、ランク-1 で 63.89%、ランク-5 で 68.67% の精度を記録。これには ArcFace（47.39% と 52.28%）や [3]（44.80% と 60.40%）といった先行手法を大きく上回っている。
• IJB-C ベンチマークでは、全プロトコルにおいて優れた性能を示し、ファインチューニングなしでも最先端の手法を上回っている。
• IJB-A では、ファインチューニングなしでトップ性能を達成し、未観測の変化への強い一般化能力を示している。
• LFW や MegaFace といった標準ベンチマークでも、ArcFace と同等の高い精度を維持しており、多様なデータ分布にわたる耐障害性を裏付けている。
• アブレーションスタディの結果、信頼度に配慮した学習、サブ埋め込みの相関除去、不確実性集約の組み合わせが、極端なベンチマークでの性能向上に不可欠であることが確認された。
• ヒートマップの可視化から、低品質または困難な画像（例：遮蔽や大角度ポーズの顔）ではサブ埋め込みの不確実性が上昇していることが確認され、モデルが信頼度に基づいて特徴量を適応的に重み付けできることを裏付けた。