[論文レビュー] Face Synthesis for Eyeglass-Robust Face Recognition

Jianzhu Guo, Xiangyu Zhu+2 more|arXiv (Cornell University)|Jun 4, 2018

Face recognition and analysis参考文献 27被引用数 4

ひとこと要約

本稿では、深層学習モデルのトレーニングに使用する高精細なメガネ装着顔画像を生成する3Dベースの仮想顔合成手法を提案する。この手法により、メガネによる影響に対して顔認識のロバスト性が顕著に向上する。3D顔モデルと3Dメガネモデルを用いて多様なメガネのバリエーションを合成し、新規のメトリック学習損失関数と組み合わせることで、特に低FAR（False Acceptance Rate）条件下で最先端の性能を達成した。特にプロトコルIVではFAR=10^{-6}で相対的に20%の性能向上を達成した。

ABSTRACT

In the application of face recognition, eyeglasses could significantly degrade the recognition accuracy. A feasible method is to collect large-scale face images with eyeglasses for training deep learning methods. However, it is difficult to collect the images with and without glasses of the same identity, so that it is difficult to optimize the intra-variations caused by eyeglasses. In this paper, we propose to address this problem in a virtual synthesis manner. The high-fidelity face images with eyeglasses are synthesized based on 3D face model and 3D eyeglasses. Models based on deep learning methods are then trained on the synthesized eyeglass face dataset, achieving better performance than previous ones. Experiments on the real face database validate the effectiveness of our synthesized data for improving eyeglass face recognition performance.

研究の動機と目的

• 厚い黒縁のメガネによる顔認識精度の低下という課題に対処すること。
• トレーニング用に、メガネあり・なしのペaired実画像を収集することが困難であるという問題を克服すること。
• 顔認識モデルのロバストなトレーニングを可能にする、現実的で多様なメガネ装着顔画像を生成する仮想データ拡張手法を開発すること。
• 合成データと新規の損失関数を用いて、メガネによるクラス内変動への深層学習モデルの一般化性能を向上させること。

提案手法

• 3DMMフィッティングまたは回帰手法を用いて2D画像から3D顔モデルを再構築する。
• アンカーポイントを用いて3Dメガネを再構築された3D顔にフィットさせ、式(1)を用いて3D投影誤差を最小化することでアライメントを最適化する。
• zバッファとフォンの照明モデルを適用し、現実的なレンダリングを実現。合成されたメガネを元の画像に融合する。
• 3Dメガネの形状、照明、ピッチ、垂直方向の平行移動にランダムネスを導入することで、合成データの多様性を向上させる。
• 実際のMsCeleb画像と合成されたメガネ装着バージョンを組み合わせることで、合成トレーニングデータセットMsCeleb-Eyeglassを構築する。
• 合成データをより効果的に活用し、特徴量の識別性能を向上させるために、段階的サンプリングを用いた新規のメトリック学習損失関数を提案する。

実験結果

リサーチクエスチョン

• RQ1 仮想的にメガネ装着顔を合成することで、現実世界の被覆状況下でも顔認識性能が向上するか？
• RQ2 3D顔モデルと3Dメガネモデルを用いた合成データ拡張は、メガネによる性能低下をどれほど軽減できるか？
• RQ3 段階的サンプリングを用いた新規のメトリック学習損失関数は、合成データおよび実データの両方においてモデルの一般化性能を向上させるか？
• RQ4 さまざまなレベルのメガネ被覆状況下で、合成データでトレーニングされたモデルと、実データのみでトレーニングされたベースラインモデルの性能はどのように比較されるか？

主な発見

• 実MsCelebと合成されたMsCeleb-Eyeglassデータの混合データでトレーニングされたResNet-22-Dモデルが、全プロトコルで最高の性能を達成した。特にプロトコルIVで顕著な優位性を示した。
• プロトコルIVでは、プローブおよびギャラリー両方にメガネが存在する状況下で、FAR=10^{-4}におけるTPRが90.14%に達し、ベースライン比で12%の相対的向上を達成した。
• FAR=10^{-6}の条件下では、ベースライン比で約20%の性能向上を達成し、重度の被覆状況下でも強いロバスト性を示した。
• 提案された合成データと損失関数は、メガネ被覆が最も深刻な影響を与えるプロトコルIIIおよびIVにおいて、顕著な性能向上をもたらした。
• 図4のROC曲線は、合成データと新規損失関数を用いてトレーニングされたモデルの優位性が一貫して示されており、特に低FAR閾値で顕著である。
• 1.7Kのアイデンティティを含むMeGlassデータセットを公開し、将来的なメガネ耐性顔認識研究を支援した。