[論文レビュー] Can Synthetic Faces Undo the Damage of Dataset Bias to Face Recognition and Facial Landmark Detection?

Adam Kortylewski, Bernhard Egger+6 more|arXiv (Cornell University)|Nov 19, 2018

Face recognition and analysis参考文献 62被引用数 11

ひとこと要約

本論文では、3次元可塑的顔モデル（3DMM）から生成された合成顔画像を用いて、顔認識および顔のランドマーク検出におけるデータセットバイアスを低減する手法を提案する。実際のデータで微調整する前に、多様で制御可能な合成データで深層ネットワークを事前学習することで、一般化性能が向上し、実世界の訓練データの必要量を最大75%まで削減でき、データ拡張や転移学習を上回る性能を発揮する。

ABSTRACT

It is well known that deep learning approaches to face recognition and facial landmark detection suffer from biases in modern training datasets. In this work, we propose to use synthetic face images to reduce the negative effects of dataset biases on these tasks. Using a 3D morphable face model, we generate large amounts of synthetic face images with full control over facial shape and color, pose, illumination, and background. With a series of experiments, we extensively test the effects of priming deep nets by pre-training them with synthetic faces. We observe the following positive effects for face recognition and facial landmark detection tasks: 1) Priming with synthetic face images improves the performance consistently across all benchmarks because it reduces the negative effects of biases in the training data. 2) Traditional approaches for reducing the damage of dataset bias, such as data augmentation and transfer learning, are less effective than training with synthetic faces. 3) Using synthetic data, we can reduce the size of real-world datasets by 75% for face recognition and by 50% for facial landmark detection while maintaining performance. Thus, offering a means to focus the data collection process on less but higher quality data.

研究の動機と目的

• 顔認識および顔のランドマーク検出における継続的なデータセットバイアスの問題に取り組むこと。このバイアスは、多様なアイデンティティ、ポーズ、照明条件におけるモデルの一般化を制限する。
• 実世界のデータセットにバイアスがあり大規模である場合に、合成顔データがモデル性能を向上させることを調査すること。
• 大規模な実世界データセットに依存することを減らしながら、性能を維持または向上させるために、合成データで事前学習する有効性を評価すること。
• データ拡張や一般分類タスクからの転移学習といった標準的手法と比較して、合成データ事前学習の有効性を評価すること。
• 微調整時に合成データから学習した有益な知識が保持されることを示し、深刻な忘却（catastrophic forgetting）を回避できることを確認すること。

提案手法

• 合成顔画像は、3次元可塑的顔モデル（3DMM）を用いて生成され、顔の形状、色、ポーズ、照明、背景を完全に制御可能である。
• 合成データセットは、頭部ポーズ、顔のアイデンティティ、表情といった重要な属性において、多様でバイアスのない構成となるように設計されており、実データでは注釈が難しい要因をカバーする。
• 深層ニューラルネットワークは、まず合成データで事前学習され、その後、さまざまな量の実世界の訓練データで微調整される。
• 顔認識および顔のランドマーク検出の複数のベンチマークで性能を評価し、一般化性能とデータ効率を測定する。
• ランダム初期化、データ拡張（ミラー画像と回転）、ImageNetからの転移学習といったベースライン手法と比較する。
• 微調整に使用する実世界データの量を体系的に変化させ、データ効率の向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 合成顔画像で事前学習することで、顔認識および顔のランドマーク検出におけるデータセットバイアスの悪影響を軽減できるか？
• RQ2 データ拡張や一般分類タスクからの転移学習と比較して、合成データ事前学習はどの程度有効か？
• RQ3 合成データで事前学習する場合、性能を損なわずに実世界の訓練データをどの程度まで削減できるか？
• RQ4 大規模な実世界データセットで微調整した後、合成データから学習した知識が深刻な忘却を起こすか？
• RQ5 合成データにおけるポーズとアイデンティティの多様性が、ベンチマークデータセット全体におけるモデルの一般化をどの程度向上させるか？

主な発見

• 合成顔で事前学習することで、顔認識および顔のランドマーク検出の全ベンチマークデータセットにおいて、一般化性能が一貫して向上する。
• 実データが限られている状況では、データ拡張やImageNetからの転移学習を上回る性能向上が、合成事前学習によって達成される。
• 顔認識モデルは、実世界の訓練データを元の量の25%にまで削減しても、競争力のある性能を達成でき、実データの必要量が75%削減されたことを示している。
• 顔のランドマーク検出モデルは、実世界の訓練データを元の量の50%にまで削減しても性能を維持でき、データの必要量が50%削減されたことを示している。
• 大規模な実世界データセットで微調整後も、深刻な忘却は観察されず、合成データから学習した知識が保持されていることが確認された。
• 性能向上の主な要因は、合成データにおける頭部ポーズと顔のアイデンティティのばらつきの増加であり、実世界データセットに存在するバイアスを緩和している。