[論文レビュー] Differential Generative Adversarial Networks: Synthesizing Non-linear Facial Variations with Limited Number of Training Data

Geonmo Gu, Seong Tae Kim+3 more|arXiv (Cornell University)|Nov 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 10

ひとこと要約

本稿では、限られた学習データでも顔の表情・ポーズ・照明などの非線形な変化を写真のようにリアルに再現できる、新しいGANアーキテクチャである微分的生成対抗ネットワーク（D-GAN）を提案する。標準ディスクリミネーターに加え、入力画像と生成画像の差に注目する新規の微分ディスクリミネーターを用いることで、D-GANは顔の多様体を効果的に近似し、滑らかで制御可能な合成を実現する。線形増強法と比較して、顔の表情分類器の精度を5.8%向上させる。

ABSTRACT

In face-related applications with a public available dataset, synthesizing non-linear facial variations (e.g., facial expression, head-pose, illumination, etc.) through a generative model is helpful in addressing the lack of training data. In reality, however, there is insufficient data to even train the generative model for face synthesis. In this paper, we propose Differential Generative Adversarial Networks (D-GAN) that can perform photo-realistic face synthesis even when training data is small. Two discriminators are devised to ensure the generator to approximate a face manifold, which can express face changes as it wants. Experimental results demonstrate that the proposed method is robust to the amount of training data and synthesized images are useful to improve the performance of a face expression classifier.

研究の動機と目的

• 顔関連の深層学習応用において、特に表情・ポーズ・照明などの非線形変化に対して学習データが限られる課題に対処すること。
• 顔の属性に沿った滑らかで制御可能な変化を示す、写真のようにリアルな顔画像を合成できる生成モデルを開発すること。
• 顔の表情認識に効果的なデータ増強を、非線形的かつ多様体に配慮した合成によって実現すること。
• データが少ない状況でも、複雑なトレーニング戦略を用いずに、一括の最適化プロセスでモデルをエンドツーエンドに訓練できること。

提案手法

• 提案されるD-GANは、元の画像とターゲットラベル（例：表情やポーズ）を入力として受け取り、合成された顔画像を出力する生成器を用いる。
• 標準ディスクリミネーターは、生成画像が本物の画像と区別できるかどうかを判定することで、生成画像の写真的リアリズムを保証する。
• 微分ディスクリミネーターは、入力画像と生成画像の差分画像を評価し、顔の変化にのみ注目する。
• 微分ディスクリミネーターは、顔の多様体上での顔の変化の正しい方向を学習させることで、構造的一致性を向上させる。
• 生成器は、両方のディスクリミネーターを含むミニマックスゲームを通じて訓練され、リアリズムと正確な顔の変換の両方を最適化する。
• モデルは、複雑なトレーニングスケジュールやハイパーパrameterチューニングを必要とせず、一括の最適化プロセスでエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 少量の学習画像しか利用できない状況下でも、GANベースのモデルが非線形な顔の変化（例：表情・ポーズ・照明）を効果的に合成できるか？
• RQ2 微分ディスクリミネーターを導入することで、標準GANと比較して顔画像合成の品質と制御性がどのように向上するか？
• RQ3 提案されたD-GANモデルは、未観測の顔の属性の組み合わせ（例：未観測のポーズと新しい表情の組み合わせ）にも一般化可能か？
• RQ4 D-GANを用いた非線形データ増強は、線形増強と比較して、顔の表情分類器の性能をどの程度向上させるか？

主な発見

• 非線形増強データを用いたD-GANは、顔の表情認識で68.20%の精度を達成し、線形増強法（62.40%）と比較して5.8%の向上を示した。
• 限られた学習データでも、高品質で写真的にリアルな顔画像を、顔の属性に沿って滑らかに変化させた合成が可能であった。
• 微分ディスクリミネーターは、データが少ない状況下でも生成器が正確な顔の変化を学習する能力を著しく向上させ、標準ディスクリミネーターのみを用いたモデルを上回った。
• 本手法は、未観測の属性の組み合わせ（例：未観測の頭部ポーズと新しい表情の組み合わせ）に対しても一般化可能であった。
• 最小限のデータで、非線形顔の変化合成分野で最先端の性能を達成し、モデルの頑健性と一般化能力を示した。
• エンドツーエンドのトレーニングプロセスは、2,000枚の学習画像しかなくとも、安定的かつ効果的に動作した。