[論文レビュー] PoseFace: Pose-Invariant Features and Pose-Adaptive Loss for Face Recognition

Qiang Meng, Xiaqing Xu+7 more|arXiv (Cornell University)|Jul 25, 2021

Face recognition and analysis参考文献 54被引用数 23

ひとこと要約

PoseFaceは、顔の特徴点と直交する特徴部分空間を用いて、自己教師ありでエンドツーエンドの枠組みを提案し、本人とポーズの特徴を分離する。また、データの不均衡を軽減するためのポーズ適応型損失を導入している。大ポーズベンチマークにおいて最先端の性能を達成しており、CFPにおけるプロファイル顔認識で人間水準の正確性を達成し、Multi-PIE、IJB-B、CPLFWでも顕著な向上を示している。

ABSTRACT

Despite the great success achieved by deep learning methods in face recognition, severe performance drops are observed for large pose variations in unconstrained environments (e.g., in cases of surveillance and photo-tagging). To address it, current methods either deploy pose-specific models or frontalize faces by additional modules. Still, they ignore the fact that identity information should be consistent across poses and are not realizing the data imbalance between frontal and profile face images during training. In this paper, we propose an efficient PoseFace framework which utilizes the facial landmarks to disentangle the pose-invariant features and exploits a pose-adaptive loss to handle the imbalance issue adaptively. Extensive experimental results on the benchmarks of Multi-PIE, CFP, CPLFW and IJB have demonstrated the superiority of our method over the state-of-the-arts.

研究の動機と目的

• 大ポーズ変動下における顔認識性能の低下を解消すること、特に制約のない環境下での性能向上を目的とする。
• トレーニングデータセットにおける正面顔とプロファイル顔画像の間のデータの不均衡を克服すること。
• ポーズ固有のモデルや顔の正面化に依存せずに、ポーズ不変の本人特徴を学習すること。
• 新しい損失関数により、ハードでレアなプロファイル顔に注目することで、トレーニングの効率性と認識正確性を向上させること。

提案手法

• 顔の特徴点を用いて、本人特徴とポーズ特徴を2つの直交部分空間に分離する。
• 事前学習済みのオートエンコーダーを用いて、特徴点からポーズ固有の特徴ベクトルを生成し、ポーズ特徴のための偽ラベルとする。
• マッピング関数に線形的かつ直交的制約を課すことにより、完全な分離を確保し、本人情報がポーズ特徴に漏れ出るのを防ぐ。
• ArcFace損失を再重み付けすることでポーズ適応型損失を導入し、正面顔のペナルティを軽減し、プロファイル顔のペナルティを増加させる。
• 本人認識とポーズ分離の両方を同時に最適化することで、ネットワーク全体をエンドツーエンドで訓練する。
• 直交制約を用いて本人特徴がポーズ変化に対して不変であるようにし、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ペアの正面・プロファイル画像を必要とせず、自己教師ありでエンドツーエンドの方法により本人とポーズ特徴を効果的に分離できるか？
• RQ2 トレーニング中に正面顔とプロファイル顔の間のデータの不均衡をどのように軽減できるか？特に、まれな大ポーズサンプルの認識を向上させることを目的とする。
• RQ3 ハードな例（例：プロファイル顔）に適応的にペナルティを課す損失関数は、大ポーズベンチマークにおけるモデルの一般化性能を向上させられるか？
• RQ4 提案手法は、プロファイル顔認識タスクで人間水準の性能を達成できるか？
• RQ5 このフレームワークは、ArcFaceを超える他の損失関数やメトリクス学習の目的関数へも拡張可能か？

主な発見

• Multi-PIEでヨー角90°の条件下において、ベースライン比で6.51%の相対的向上を示し、極端なポーズに対しても強いロバストネスを示した。
• 正面-プロファイルプロトコルを採用したCFPベンチマークでは、PoseFace34が94.84%の正確性を達成し、人間水準の正確性（94.57%）に近づき、すべての先行手法を上回った。
• IJB-BとIJB-Cでは、PoseFace50がFAR=1e-5におけるTARをそれぞれ1.48%および1.04%向上させ、深層バックボーンを用いた最先端手法を上回った。
• PoseFace34はCPLFWで88.65%の正確性を達成し、ArcFaceベースライン比で0.55%の向上を示し、野外認識においても有効性を確認した。
• ポーズ適応型損失は、ハードなプロファイル顔に注目することで、レアなサンプルのトレーニング収束と性能向上を顕著に改善した。
• 自己分離メカニズムは、アブレーションスタディにより、ポーズ関連の変動をフィルタリングしながら本人情報の保持に成功した。