[論文レビュー] Variational methods for Conditional Multimodal Learning: Generating Human Faces from Attributes.

Gaurav Pandey, Ambedkar Dukkipati|arXiv (Cornell University)|Mar 6, 2016

Face recognition and analysis被引用数 10

ひとこと要約

本論文では、変分推論を用いて条件付き対数尤度を最大化することで、テキストによる属性記述から写真のようにリアルな人間の顔を生成する条件付きマルチモodalオートエンコーダー（CMMA）を提案する。属性の潜在空間を、顔と属性の統合的表現と一致させることで、従来の深層生成モデルよりも属性に正確で意味的に整合性のある顔の生成が可能となる。

ABSTRACT

Prior to this decade, the field of computer vision was primarily focused around hand-crafted feature extraction methods used in conjunction with discriminative models for specific tasks such as object recognition, detection/localization, tracking etc. A generative image understanding was neither within reach nor the prime concern of the period. In this paper, we address the following problem: Given a description of a human face, can we generate the image corresponding to it? We frame this problem as a conditional modality learning problem and use variational methods for maximizing the corresponding conditional log-likelihood. The resultant deep model, which we refer to as conditional multimodal autoencoder (CMMA), forces the latent representation obtained from the attributes alone to be 'close' to the joint representation obtained from both face and attributes. We show that the faces generated from attributes using the proposed model, are qualitatively and quantitatively more representative of the attributes from which they were generated, than those obtained by other deep generative models. We also propose a secondary task, whereby the existing faces are modified by modifying the corresponding attributes. We observe that the modifications in face introduced by the proposed model are representative of the corresponding modifications in attributes. Hence, our proposed method solves the above mentioned problem.

研究の動機と目的

• テキストによる属性記述から、条件付き生成フレームワーク内でリアルな人間の顔を生成する課題に取り組むこと。
• 生成された顔と入力属性との間の整合性を高め、意味的に整合性のある生成を保証すること。
• 属性を変更することで顔の編集を制御可能にする。
• 変分推論が、顔生成における複雑でマルチモーダルな条件付き分布を効果的にモデル化できることを示すこと。
• 定性的および定量的に、既存の深層生成モデルを上回る属性の忠実度を達成すること。

提案手法

• モデルは、顔画像とその対応する属性から、統合された潜在表現を学習するための条件付き変分オートエンコーダー（CVAE）フレームワークを用いる。
• 潜在コードが属性のみから得られるものと、顔と属性の統合的潜在表現とが近くなるように、確率的制約を課す。これは、KLダイバージェンスの最小化によって実現される。
• エンコーダーは入力の属性と画像を共有された潜在空間にマップし、デコーダーは統合された潜在表現から顔画像を再構築する。
• モデルは、属性が与えられたときの顔画像の条件付き対数尤度を最大化することで、エンドツーエンドに訓練される。
• 補助タスクとして、属性を変更して編集済みの顔画像を生成する。これにより、分離可能で解釈可能な制御が可能であることを示している。
• エンコーダーとデコーダーの両方で深層ニューラルネットワークを採用し、勾配最適化による最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 変分推論は、属性記述が与えられたときの顔画像の条件付き分布を効果的にモデル化できるか？
• RQ2 提案されたCMMAモデルは、既存の深層生成モデルと比較して、入力属性に忠実な顔を生成できるか？
• RQ3 属性の操作によって、意味的かつ整合性のある顔の編集が可能か？
• RQ4 潜在空間は、アイデンティティや外見要因から属性をどれほど分離して捉えられるか？
• RQ5 属性のみの潜在表現と統合された潜在表現との間の整合性を強制することで、条件付き生成品質が向上するか？

主な発見

• 提案されたCMMAモデルは、他の深層生成モデルと比較して、入力属性の質的表現がより優れている顔を生成する。
• 定量的評価により、生成された顔における属性の忠実度が高くなっていることが確認されたが、正確な指標は提供されたテキストに記載されていない。
• モデルは、制御可能な顔の編集を成功裏に実現している。属性を変更することで、生成された顔に意味的に整合性のある変化が生じる。
• 変分推論によって学習された潜在空間は、属性と顔の外見の間の条件付き依存関係を効果的に捉えている。
• 定性的な比較により、CMMAモデルは、リアルで属性に整合性のある顔を生成する点で、ベースライン手法を上回っていることが示された。
• 統合された潜在表現により、属性のみからの生成が、真の顔-属性分布に近づくことが保証されている。