[論文レビュー] Controllable Descendant Face Synthesis

Yong Zhang, Le Li+4 more|arXiv (Cornell University)|Feb 26, 2020

Face recognition and analysis参考文献 43被引用数 5

ひとこと要約

本論文は、顔の部分類似性をモデル化する継承モジュールと、年齢および性別の制御を行う属性強化モジュールを用いて、二親対一子の血縁関係をモデル化する、制御可能な子孫顔合成のための新規生成フレームワークを提案する。本手法は、学習時に真の子孫顔が存在しない状況下でも、画像品質、血縁関係検証精度（61.88%）、およびユーザースタディの結果において最先端の性能を達成している。

ABSTRACT

Kinship face synthesis is an interesting topic raised to answer questions like "what will your future children look like?". Published approaches to this topic are limited. Most of the existing methods train models for one-versus-one kin relation, which only consider one parent face and one child face by directly using an auto-encoder without any explicit control over the resemblance of the synthesized face to the parent face. In this paper, we propose a novel method for controllable descendant face synthesis, which models two-versus-one kin relation between two parent faces and one child face. Our model consists of an inheritance module and an attribute enhancement module, where the former is designed for accurate control over the resemblance between the synthesized face and parent faces, and the latter is designed for control over age and gender. As there is no large scale database with father-mother-child kinship annotation, we propose an effective strategy to train the model without using the ground truth descendant faces. No carefully designed image pairs are required for learning except only age and gender labels of training faces. We conduct comprehensive experimental evaluations on three public benchmark databases, which demonstrates encouraging results.

研究の動機と目的

• 既存の一方親対一方子の血縁関係顔合成手法が、類似性、年齢、性別の制御に欠けるという限界を是正すること。
• 二親顔と一子顔の間の二対一の血縁関係をモデル化し、補完的な遺伝的情報を捉えること。
• 大規模な父・母・子の三つ組データセットが限られている課題を克服するため、低品質な合成顔とコンポonent交換を用いたデータ拡張戦略を提案すること。
• 合成された子孫顔における顔の部分類似性、年齢、性別の明示的かつ分離可能な制御を可能にすること。
• ベンチマークデータベース上で定性的、定量的、ユーザースタディの分析を通じて手法を評価すること。

提案手法

• フレームワークは、5つのバイナリービット（左目／眉、右目／眉、鼻、口、プロフィール）を用いた制御ベクトルにより、親顔への顔の部分類似性を制御する継承モジュールと、年齢段階（0–5、6–15、16–45、>45）と性別ラベルを条件として年齢と性別を制御する属性強化モジュールの2つのエンドツーエンドでトレーニング可能なモジュールから構成される。
• データ拡張のため、低品質な合成顔を生成するためにコンポonent交換戦略が用いられ、実際の子孫顔のアノテーション不足を補う。
• 本モデルは、親顔の年齢および性別ラベルのみに依存し、真の子孫顔が不要であるようにトレーニングされる。
• 継承モジュールは、各親顔ペアが一意の子顔にマッピングされるように、コンポonentの遺伝的類似性を指定することで、1組のカップルに対して複数の子が存在するという曖昧さを軽減する。
• 生成的対抗ネットワーク（GANs）を用いて、継承モジュールと属性モジュールをエンドツーエンドで最適化する形でモデルを共同でトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 二親対一子の血縁関係をモデル化することで、一方親対一方子のアプローチよりも、現実的で信頼性の高い子孫顔を深層生成モデルが効果的に合成できるか？
• RQ2 真の子孫顔データに依存せずに、顔の部分類似性、年齢、性別の明示的制御を合成顔で達成できるか？
• RQ3 KPFE や KinshipGAN といった従来の一方親ベースの合成手法と比較して、本手法は画像品質および血縁関係の忠実度においてどのように優れているか？
• RQ4 顔認識タスクにおいて、合成顔が親顔からどの程度区別可能か？
• RQ5 人間のユーザが、合成顔における顔の部分類似性、年齢推定、性別認識の正確さをどの程度正しく認識しているか？

主な発見

• 本手法はTSKinFaceデータセットにおいて61.88%の血縁関係検証精度を達成し、KPFE（42.97%）およびKinshipGAN（24.69%）を大きく上回り、強力な血縁関係の忠実度を示している。
• ユーザースタディでは、参加者の97.2%が、顔の部分がどの親から由来したかを正しく特定しており、遺伝的類似性を高い精度で捉えていることが示された。
• 4つの年齢段階における年齢順序付けの正確さは91.6%に達し、年齢進行の制御が効果的であることが確認された。
• 性別認識の正確さは88.8%であり、合成顔において正しく性別属性が維持されていることが確認された。
• 顔認識モデル（VGG-Face、Microsoft、Amazon）は、合成顔と親顔を区別する際に低精度（9.0–22.0%）を示し、生成された顔が親とは明確に異なるが現実的であることが示された。
• 定性的な結果から、画像品質の向上、プロフィールおよび顔の部分の多様性の向上、および競合手法よりも優れた真値への類似性が確認された。