[論文レビュー] What Will Your Child Look Like? DNA-Net: Age and Gender Aware Kin Face Synthesizer

Pengyu Gao, Siyu Xia+5 more|arXiv (Cornell University)|Nov 16, 2019

Face recognition and analysis参考文献 22被引用数 13

ひとこと要約

本稿では、年齢および性別に応じた特徴マッピングとランダムな遺伝子の組み合わせを用いて遺伝的相続をシミュレートすることで、両親の画像から現実的な子供の顔を合成する2段階の生成モデルであるDNA-Netを提案する。この手法は、人間の評価者による認識テストで60.29%の正答率を示し、実際の子供の顔画像を上回る知覚的リアリズムを達成した。

ABSTRACT

Visual kinship recognition aims to identify blood relatives from facial images. Its practical application-- like in law-enforcement, video surveillance, automatic family album management, and more-- has motivated many researchers to put forth effort on the topic as of recent. In this paper, we focus on a new view of visual kinship technology: kin-based face generation. Specifically, we propose a two-stage kin-face generation model to predict the appearance of a child given a pair of parents. The first stage includes a deep generative adversarial autoencoder conditioned on ages and genders to map between facial appearance and high-level features. The second stage is our proposed DNA-Net, which serves as a transformation between the deep and genetic features based on a random selection process to fuse genes of a parent pair to form the genes of a child. We demonstrate the effectiveness of the proposed method quantitatively and qualitatively: quantitatively, pre-trained models and human subjects perform kinship verification on the generated images of children; qualitatively, we show photo-realistic face images of children that closely resemble the given pair of parents. In the end, experiments validate that the proposed model synthesizes convincing kin-faces using both subjective and objective standards.

研究の動機と目的

• 既存の親族生成手法が片方の親に依存するという制限を解消するため、両親からの遺伝的相続をモデル化すること。
• 深層学習フレームワークを用いて、両親の遺伝子のランダム選択と組み合わせ——生物学的再結合のプロセスをシミュレートすること。
• 両親に似ており、目の形、鼻の形、口の形、あごの形といった遺伝的特徴を示す写真のようなリアルな子供の顔を生成すること。
• 定量的指標（例：親族認証精度）と定性的な人間評価の両方を用いて、モデルの有効性を検証すること。
• ランドマークに基づく形状解析を用いて、両親と生成／実際の子供の間の幾何学的類似度を分析することで、顔貌特徴の遺伝的類似性を解明すること。

提案手法

• 大規模な顔画像データセット上で条件付き敵対的オートエンコーダー（CAAE）を訓練し、顔画像を高レベル特徴（年齢、性別）にマッピングし、再構成することにより、分離可能な表現学習を可能にする。
• DNA-Netは、2人の両親のエンコード済み特徴を入力とし、子供固有の遺伝子コードをシミュレートする新しい変換モジュールとして導入される。
• モデルは2段階の訓練プロセスを採用する：第一に、CAAEが画像→特徴および特徴→画像の変換を学習する。第二に、DNA-Netが異なる微分可能で確率的な遺伝子の組み合わせ機構を介して、両親の特徴を子供の特徴にマッピングする。
• 遺伝子表現は、メンドルの遺伝法則を模倣する確率的選択プロセスを経て、両親の特徴を組み合わせた潜在ベクトルとしてモデル化される。
• 生成ネットワークを用いて、子供の遺伝子コードを顔画像にデコードし、敵対的訓練によりリアリズムを向上させる。
• 自動化された親族認証（事前学習済みCNNを用いて）と、実際の子供の顔と生成された顔の識別に関する人間評価を用いて、モデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、生物学的遺伝的相続プロセスをシミュレートし、2人の両親の画像から子供の顔を合成できるか？
• RQ2 生成された子供の顔は、実際の子供の顔と比較して、顔貌構造および外見の両面で両親にどれほど類似しているか？
• RQ3 ランドマークに基づく形状類似度で測定した場合、生成された顔はどの程度、口、鼻、あごといった主要な顔貌特徴を両親から遺伝しているか？
• RQ4 人間の観察者は、実際の子供の顔と生成された顔をどれほど正確に区別できるか？また、モデルは実際の画像を上回る知覚的リアリズムを示すか？
• RQ5 モデルは、年齢や性別の異なる組み合わせに対しても、親族関係の一貫性を保ちながら子供の顔を生成できるか？

主な発見

• 提案されたDNA-Netモデルは、生成された子供の顔を人間が本物と認識する正答率が60.29%に達し、実際の子供の顔画像（39.71%の正答率）を上回った。
• 自動化された親族認証では、生成された顔に対して0.94の認証スコアを達成し、実際の子供の顔に近いが、ランダムな実際の顔とは対照的であることを示した。
• t-SNE可視化では、生成された子供の顔の特徴分布が両親および実際の子供と強く重なってクラスタリングされており、強い親族類似性を示した。
• 遺伝的類似度マップでは、生成された子供の顔が口領域で両親と高い形状類似性を示しており、平均コサイン距離が0.82であった。これは遺伝的知見と整合的であった。
• 鼻およびあご領域についても、生成された顔は強く遺伝的類似性を示しており、コサイン距離はそれぞれ0.78および0.80であった。これは、顔の主要構造が効果的に遺伝されていることを示した。
• モデルは、年齢および性別の異なる組み合わせに対しても、条件付き入力を用いて出力特性を制御可能な柔軟性を示し、子供の顔を効果的に生成した。