[論文レビュー] Learning a face space for experiments on human identity

Jordan W. Suchow, Joshua C. Peterson+1 more|arXiv (Cornell University)|May 19, 2018

Face recognition and analysis参考文献 15被引用数 7

ひとこと要約

本論文では、人間の身体的・心理的認識に整合した顔の空間を学習するため、Humanæ データセット上でトレーニングされた自己教師的変分オートエンコーダ（VAE）と自己回帰的デコーダーを提案する。このモデルにより、高品質でナビゲーション可能な架空の個人の顔が生成可能となり、迅速かつ専門家を必要としない『警察スケッチ』の生成において、インタラクティブな進化計算が成功を収めた。人間参加者が心理物理学的トゥーリングテストに高頻度で失敗する結果となり、生成された顔が実際の顔とほとんど区別できないことが示された。

ABSTRACT

Generative models of human identity and appearance have broad applicability to behavioral science and technology, but the exquisite sensitivity of human face perception means that their utility hinges on the alignment of the model's representation to human psychological representations and the photorealism of the generated images. Meeting these requirements is an exacting task, and existing models of human identity and appearance are often unworkably abstract, artificial, uncanny, or biased. Here, we use a variational autoencoder with an autoregressive decoder to learn a face space from a uniquely diverse dataset of portraits that control much of the variation irrelevant to human identity and appearance. Our method generates photorealistic portraits of fictive identities with a smooth, navigable latent space. We validate our model's alignment with human sensitivities by introducing a psychophysical Turing test for images, which humans mostly fail. Lastly, we demonstrate an initial application of our model to the problem of fast search in mental space to obtain detailed "police sketches" in a small number of trials.

研究の動機と目的

• 人間の顔の心理的認識に整合した潜在空間を持つ人間アイデンティティの生成モデルを開発すること。
• 人間の視覚的多様性を反映した、写真のようにリアルで、不気味さのない多様なポートレートを生成すること。
• 人間の認知的アイデンティティの認識を効率的に探索可能な、人間を含むフィードバックループを実現すること。例えば、警察スケッチの文脈での応用を想定する。
• 人間が生成された顔と実際の顔を確実に区別できないかどうかを評価する心理物理学的トゥーリングテストを通じて、モデルのリアルさを検証すること。
• 潜在空間の有用性を、インタラクティブな進化計算を用いて、語りかけによる記述に基づき迅速かつ正確にアイデンティティの記述を検索する応用事例を通じて示すこと。

提案手法

• Humanæ データセットの3,353枚の正面顔画像を用いて、自己教師的変分オートエンコーダ（PixelVAE）を訓練し、分離可能で滑らかな潜在顔空間を学習する。
• 生成画像のリアルさを評価するために、人間参加者が実際の顔と偽物の顔を区別できるかを測定する心理物理学的トゥーリングテストを実施する。
• 自然進化戦略（Natural Evolution Strategies）を用いて、人間による類似度順位に基づき潜在空間の点を最適化するインタラクティブな進化計算を適用する。
• 各ラウンドの探索を、潜在空間内のシードから開始し、人間の順位とガウスノイズによる摂動から得られる勾配推定値を用いて更新する。
• 1ラウンドあたり10名の参加者を用いたクラウドソーシングによる順位付けシステムを採用し、ポートレートのフィットネススコアを算出し、ターゲットアイデンティティに近づくように探索を誘導する。
• 生成された512×512のポートレートの解像度と品質を向上させるために、画像超解像技術を適用し、アイデンティティの一貫性を保持する。

実験結果

リサーチクエスチョン

• RQ1 学習された顔空間は、人間の顔のアイデンティティに関する心理的認識にどの程度反映されているか？
• RQ2 生成モデルは、心理物理学的トゥーリングテストにおいて、人間が実際の顔と区別できないほどリアルなポートレートを生成できるか？
• RQ3 潜在空間におけるインタラクティブな進化計算は、語りかけによる記述に基づくアイデンティティの検索をどの程度効率的に行えるか？
• RQ4 ノイズの多いまたは低解像度のシードから、高精細でアイデンティティを保持するポートレートを生成できるか？
• RQ5 潜在空間はどれほど普遍的であり、多様な人間のアイデンティティを表現できるか？

主な発見

• 人間参加者が心理物理学的トゥーリングテストに失敗する割合が高く、生成された画像が実際のポートレートとほとんど区別できないほど高いリアルさを達成した。
• 潜在空間におけるインタラクティブな進化計算により、従来の『警察スケッチ』生成手法と比較して、人間による判断回数を10分の1に削減できた。
• 本モデルは、滑らかでナビゲーション可能な潜在空間を備え、偽物の顔がほとんどない高精細な512×512の架空のアイデンティティのポートレートを成功裏に生成した。
• 画像超解像技術を用いることで、アイデンティティの本質を保持しながら解像度と品質を向上させることができ、潜在表現自体は変化しなかった。
• Humanæ データセットは規模が限定的であるが、制御されたアイデンティティ中心の変動が特徴のため、非常に代表的で多様な顔空間を学習可能であった。
• 人間の知覚的類似性と強い整合性を示す潜在空間が得られ、語りかけによる記述に基づくターゲットアイデンティティの検索において、人間のガイドによる探索が成功した。