[論文レビュー] GridFace: Face Rectification via Learning Local Homography Transformations

Erjin Zhou, Zhimin Cao+1 more|arXiv (Cornell University)|Aug 19, 2018

Face recognition and analysis参考文献 54被引用数 5

ひとこと要約

GridFaceは、顔の幾何的ばらつきを低減するための学習可能な局所ホモグラフィー変換を用いる、新しい顔正規化手法を提案する。認識性能の向上を実現するため、Denoising Autoencoder（DAE）に基づく標準顔の事前分布と、認識ネットワークと統合されたエンドツーエンド学習を採用し、LFW、YTF、IJB-A、Multi-PIEベンチマークで最先端の性能を達成した。IJB-Aでは、12.6%の認証精度向上を達成し、90°ヨー角でのMulti-PIEでは75.4%のランク-1精度を達成した。

ABSTRACT

In this paper, we propose a method, called GridFace, to reduce facial geometric variations and improve the recognition performance. Our method rectifies the face by local homography transformations, which are estimated by a face rectification network. To encourage the image generation with canonical views, we apply a regularization based on the natural face distribution. We learn the rectification network and recognition network in an end-to-end manner. Extensive experiments show our method greatly reduces geometric variations, and gains significant improvements in unconstrained face recognition scenarios.

研究の動機と目的

• 非制約的顔認識における顔の幾何的ばらつきの課題に対処すること。
• 全体的変換手法と比較して、顔の詳細をよりよく保持し歪みを低減する非剛性顔正規化手法を開発すること。
• Denoising Autoencoder（DAE）を用いて学習した自然な正面顔分布の事前分布を用いて、正規化プロセスを正則化し、標準的で正面に近い顔のビューを促進すること。
• 正規化ネットワークと認識ネットワークをエンドツーエンドで同時に最適化することで、性能を向上させること。
• 極端なポーズ変動下でも、複数のベンチマークで顕著な認識精度の向上を示すこと。

提案手法

• GridFaceは、正規化ネットワークを用いて局所ホモグラフィー変換のグループを推定し、各変換を変形可能な平面セルとしてモデル化することで、非剛性顔変形を捉える。
• 本手法は、自然な標準正面顔の分布を暗黙的にモデル化するため、Denoising Autoencoder（DAE）を用い、密度の対数の勾配を推定する。
• 正規化モジュールは、DAEに基づく事前分布によって正則化され、トレーニング中に標準的で正面に近い顔のビューの生成を促進する。
• 認識ネットワークは、正規化された画像から判別性の高い顔表現を学ぶために、メトリック学習を用いて正規化ネットワークとエンドツーエンドでトレーニングされる。
• 本システムは確率的勾配降下法を用いてトレーニングされ、正規化と認識の両目的を同時に最適化する。
• 本手法はグリッドベースの局所ホモグラフィー構成を活用し、顔領域の微細なワープを可能にするとともに、歪みを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 局所ホモグラフィー変換は、非制約的顔認識における顔の幾何的ばらつきを効果的に低減できるか？
• RQ2 データ駆動型の標準顔事前分布を組み込むことで、正規化品質と認識性能が向上するか？
• RQ3 正規化と認識ネットワークのエンドツーエンドトレーニングは、分離最適化よりも優れた性能をもたらすか？
• RQ4 極端なポーズ変動下において、GANベースの顔正面化手法と比較して、GridFaceはどのように性能を発揮するか？
• RQ5 本手法は、LFW、YTF、IJB-A、Multi-PIEを含む多様なベンチマークに一般化できるか？

主な発見

• Multi-PIEデータセットでは、Grid-8が90°ヨー角で75.4%のランク-1精度を達成し、ベースライン比で12.6%の向上を示した。
• IJB-Aでは、Grid-8がFAR=0.001の条件下で83.9%の認証精度を達成し、ベースライン比で12.6%の向上を示した。
• LFWでは、Grid-8が99.70%のmACと96.7%のランク-1精度を達成し、以前の最先端手法を上回った。
• YTFでは、Grid-8が95.6%のmACを達成し、強力なベースラインよりも一貫した向上を示した。
• Grid-8-Pubは、LFWで99.68%のmAC、YTFで95.2%のmACを達成し、公開データとプライベートデータの両設定で堅牢性を示した。
• 正面顔においても性能の低下が認められず、最小限のアーティファクトの導入が示された。