[論文レビュー] Balanced Alignment for Face Recognition: A Joint Learning Approach

Huawei Wei, Peng Lu+1 more|arXiv (Cornell University)|Mar 23, 2020

Face recognition and analysis参考文献 35被引用数 4

ひとこと要約

本稿では、顔認識のための共同学習フレームワークを提案する。過剰なアライメントが認識精度を損なうのを避けるために、アライメント強度のバランスをとる。特徴マップ上で学習可能で適応可能なランドマークと微分可能アライメント損失を用いてアライメントを実行することで、LFW、YTF、MegaFaceの各ベンチマークで最先端の性能を達成した。特に顔の姿勢が大きく変化する状況下でも顕著な性能向上を示した。

ABSTRACT

Face alignment is crucial for face recognition and has been widely adopted. However, current practice is too simple and under-explored. There lacks an understanding of how important face alignment is and how it should be performed, for recognition. This work studies these problems and makes two contributions. First, it provides an in-depth and quantitative study of how alignment strength affects recognition accuracy. Our results show that excessive alignment is harmful and an optimal balanced point of alignment is in need. To strike the balance, our second contribution is a novel joint learning approach where alignment learning is controllable with respect to its strength and driven by recognition. Our proposed method is validated by comprehensive experiments on several benchmarks, especially the challenging ones with large pose.

研究の動機と目的

• アライメント強度が顔認識精度に与える定量的影響を調査すること。
• 現在の顔アライメント手法が手作業で設計されたものか、自己教師ありのものであるがゆえに、理解が不十分で制御が難しいという問題を解決すること。
• 過剰アライメントを回避し、アイデンティティに必要な特徴を保持する、制御可能で認識指向のアライメント機構を開発すること。
• 認識とアライメントを共同最適化することで、顔の姿勢が大きく変化するような困難なベンチマークでの性能を向上させること。

提案手法

• ランドマーク変形を明示的に監視する新しいアライメント損失を導入。損失の比率を調整することで、アライメント強度を制御可能にする。
• 生の入力画像ではなく特徴マップ上で空間変換を実行することで、認識に不可欠な微細な顔の特徴を保持する。
• 適応可能なランドマーク重みを学習する可変テンプレートを導入。これにより、認識に最適なランドマーク位置をネットワークが自動で発見できる。
• 固定された手作業で設計されたテンプレートに依存せず、データから自動でテンプレートを学習する。
• 空間変換ネットワーク（STN）を拡張し、エンドツーエンドで認識指向の学習を可能にすることで、アライメントと認識を共同最適化する。
• 特徴マップ上で微分可能なワープ操作を用いて、幾何的変化をアライメントしつつ、アイデンティティ不変特徴を維持する。

実験結果

リサーチクエスチョン

• RQ1 顔アライメントの強度が認識精度に与える影響は何か？最適なバランスが存在するか？
• RQ2 アライメントを固定されたテンプレートや自己教師ありの目的関数ではなく、認識性能に従って制御可能にすることができるか？
• RQ3 入力画像ではなく特徴マップ上でアライメントを実行することで、アイデンティティに必要な情報をより多く保持できるか？
• RQ4 学習可能で適応可能なランドマークテンプレートは、固定テンプレートを上回る認識性能を発揮できるか？
• RQ5 本手法は、顔の姿勢が大きく変化するような困難なベンチマークで、どのように性能を発揮するか？

主な発見

• 認識精度はアライメント強度が上昇するに従い一定の点までは向上するが、その後低下する。これは、顔の幾何学的形状が歪められることで性能が損なわれるためである。
• 本手法はLFWで99.85%のランク-1精度、YTFで96.63%、MegaFaceで98.62%を達成し、ベースラインおよび既存のアライメント手法を上回った。
• 固定テンプレートではなく学習可能なテンプレートを用いることで認識精度が向上し、学習されたテンプレートはランドマークの分布がゆるくなる傾向にあり、特徴の識別性が向上する可能性がある。
• 入力画像ではなく特徴マップ上でアライメントを実行することで、より高い性能が得られた。これは、アイデンティティに不可欠な微細な顔の特徴をよりよく保持しているためである。
• アブレーションスタディの結果、アライメント損失と特徴マップ上でのアライメントの両方が、性能向上に顕著な寄与をしていることが確認された。
• 本手法は、ArcFace や CosFace と同等の最先端の結果を達成しており、特に顔の姿勢が大きく変化するデータセットにおいて顕著な優位性を示した。