[論文レビュー] Priming Deep Neural Networks with Synthetic Faces for Enhanced Performance

Adam Kortylewski, Andreas Schneider+6 more|arXiv (Cornell University)|Nov 19, 2018

Face recognition and analysis参考文献 56被引用数 6

ひとこと要約

本論文では、3次元形状可変顔モデルから生成された合成顔画像を用いて深層ニューラルネットワークを事前学習させることで、顔認識および顔の特徴点検出における汎化性能とデータセット効率を向上させる手法を提案する。無制限で制御可能な合成データで事前学習することで、顔認識では実データ要件を75%低減、顔の特徴点検出では50%低減でき、データ拡張や転移学習を上回り、バイアスの影響も軽減する。

ABSTRACT

Today's most successful facial image analysis systems are based on deep neural networks. However, a major limitation of such deep learning approaches is that their performance depends strongly on the availability of large annotated datasets. In this work, we prime deep neural networks by pre-training them with synthetic face images for specific facial analysis tasks. We demonstrate that this approach enhances both the generalization performance as well as the dataset efficiency of deep neural networks. Using a 3D morphable face model, we generate arbitrary amounts of annotated data with full control over image characteristics such as facial shape and color, pose, illumination, and background. With a series of experiments, we extensively test the effect of priming deep neural networks with synthetic face examples for two popular facial image analysis tasks: face recognition and facial landmark detection. We observed the following positive effects for both tasks: 1) Priming with synthetic face images improves the generalization performance consistently across all benchmark datasets. 2) The amount of real-world data needed to achieve competitive performance is reduced by 75% for face recognition and by 50% for facial landmark detection. 3) Priming with synthetic faces is consistently superior at enhancing the performance of deep neural networks than data augmentation and transfer learning techniques. Furthermore, our experiments provide evidence that priming with synthetic faces is able to enhance performance because it reduces the negative effects of biases present in real-world training data. The proposed synthetic face image generator, as well as the software used for our experiments, have been made publicly available.

研究の動機と目的

• 顔分析における深層ニューラルネットワークが、大規模なアノテート済み実世界データセットに強く依存するという問題を解決すること。
• 偏りや限界がある実データによる学習によるデータセット効率と汎化性能の制限を克服すること。
• 合成データが顔認識および顔の特徴点検出の性能向上に有効な事前学習信号として機能するかを検証すること。
• 合成データによる事前学習が、実世界データセットに存在するバイアスの悪影響を軽減するかを調査すること。
• 顔認識に適した多様で完全にアノテートされた合成顔画像をスケーラブルかつ制御可能に生成する手法を提示すること。

提案手法

• 3次元形状可変顔モデルを用いて、顔の形状、色、ポーズ、照明、背景を完全に制御可能な合成顔画像を生成し、完全なアノテーションを付与する。
• 実世界のベンチマークデータセットでの微調整の前に、大規模な合成顔データセットで深層ニューラルネットワークを事前学習する。
• 実世界の分布シフトを模倣するために、アイデンティティの多様性、ポーズの変動、照明条件などのデータ特性を制御する。
• 顔認識および顔の特徴点検出に一般的に用いられる標準的な深層学習アーキテクチャを採用し、合成データでの事前学習後に微調整する。
• 画像Netの重みを用いたデータ拡張や転移学習のベースライン手法と性能を比較する。
• 両タスクにおける複数のベンチマークデータセットを対象に、汎化性能とデータセット効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成顔画像による事前学習は、顔分析における多様なベンチマークデータセットにおいて、深層ニューラルネットワークの汎化性能を向上させるか？
• RQ2 合成データによる事前学習は、顔認識および顔の特徴点検出で競争的な性能を達成するために必要な実世界データ量をどの程度削減できるか？
• RQ3 合成データによる事前学習は、従来のデータ拡張や転移学習に比べて、モデル性能の向上にどのように寄与するか？
• RQ4 合成顔による事前学習は、実世界の学習データに存在するバイアスの悪影響を軽減するか？
• RQ5 合成データにおける制御可能な変動要因（例：ポーズ、照明）が、下流モデルのロバストネスに与える影響は何か？

主な発見

• 合成顔画像による深層ニューラルネットワークの事前学習は、顔認識および顔の特徴点検出の両タスクにおいて、すべてのベンチマークデータセットで一貫して汎化性能を向上させる。
• 合成データでの事前学習を用いることで、顔認識では実データの必要量が75%削減され、顔の特徴点検出では50%削減される。
• 合成データによる事前学習は、両タスクにおいてデータ拡張および転移学習の手法を上回る性能向上を達成する。
• 合成データによる事前学習による性能向上は、実世界学習データに存在するバイアスの悪影響が軽減されたことに起因する。
• 本研究で提案する合成顔生成ツールおよび実験用ソフトウェアは、再現性の確保と今後の研究を支援するために公開された。