[論文レビュー] MeshGAN: Non-linear 3D Morphable Models of Faces

Shiyang Cheng, Michael M. Bronstein+4 more|arXiv (Cornell University)|Mar 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 66被引用数 47

ひとこと要約

MeshGANは、3D顔のメッシュ上で直接動作する intrinsic GAN を導入し、アイデンティティと表情を非線形にモデル化する。現実性と多様性の点で CoMA を上回る。

ABSTRACT

Generative Adversarial Networks (GANs) are currently the method of choice for generating visual data. Certain GAN architectures and training methods have demonstrated exceptional performance in generating realistic synthetic images (in particular, of human faces). However, for 3D object, GANs still fall short of the success they have had with images. One of the reasons is due to the fact that so far GANs have been applied as 3D convolutional architectures to discrete volumetric representations of 3D objects. In this paper, we propose the first intrinsic GANs architecture operating directly on 3D meshes (named as MeshGAN). Both quantitative and qualitative results are provided to show that MeshGAN can be used to generate high-fidelity 3D face with rich identities and expressions.

研究の動機と目的

• ボクセル/点表現ではなく、メッシュトポロジー上で高忠実度の3D顔メッシュの生成を動機づける。
• スペクトルメッシュ畳み込みを用いて、アイデンティティと表情を個別にモデル化する内在的GANアーキテクチャ（MeshGAN）を開発する。
• MeshGANが従来のオートエンコーダベースの手法よりも高品質で多様な3D顔を生み出すことを実証する。
• generalisation, specificity, FID指標を含む大規模3D顔データセット（3dMD, 4DFAB）で定量的評価を提供する。

提案手法

• 3D顔をラプラシアンベースのスペクトル畳み込みを用いた固定トポロジーのメッシュとして表現する。
• Discriminator がメッシュデータ上でL1損失を用いて動作するオートエンコーダとして機能するBEGAN風のGANを採用する。
• Generator/Decoderをチェビシェフ多項式ベースのグラフ畳み込みを用いて実装し、アイデンティティと表情の非線形3DMM空間を学習する。
• 多解像度のメッシュ合成を扱うため、バリセントリック補間を用いた4レベルのメッシュダウンサンプリング/アップサンプリング方式を採用する。
• BeGANのバランス機構で訓練し、多様性を促進するためにgamma=0.7を用い、識別器ボトルネックで64次元の潜在埋め込みとする。
• 密な対応付けのために非剛性ICPで前処理を行い、5,036-vertexテンプレートとランドマークガイド整列に対応させる。

実験結果

リサーチクエスチョン

• RQ1 3Dメッシュ上で直接動作する内在的GANが、識別可能なアイデンティティと表情を制御した高忠実度の顔を生成できるか？
• RQ2 MeshGANは、以前のメッシュオートエンコーダアプローチと比べて、3D顔の一般化性、特異性、サンプル多様性をより向上させるか？
• RQ3 MeshGANにおけるアイデンティティと表情の潜在空間は、補間と外挿でどのように振る舞うか？
• RQ4 訓練選択（例：BEGANバランス、Chebyshevフィルター）が生成メッシュの品質と多様性に与える影響は何か？

主な発見

• MeshGANはアイデンティティと表情タスクで競争力のある一般化性能を達成し、MeshGAN-IDは0.465 mmの一般化を示す一方、CoMA-IDは0.442 mm。
• MeshGANはCoMAより特異性が高く、FIDスコアが大幅に低く、生成メッシュの現実性と多様性が高いことを示す。
• アイデンティティモデルでは、MeshGAN-IDは10.82 FID、CoMA-IDの14.24と比較。表現モデルでは、MeshGAN-EXPは13.59 FID、CoMA-EXPの22.43と比較。
• 定性的結果は、CoMAと比較してMeshGANが顔の細部を豊かに再現し、外挿がより妥当であることを示し、特に民族性、年齢、表情筋の動きにおいて顕著。
• 外挿実験は、潜在ベクトルをトレーニング範囲を超えて拡張するとMeshGANは意味のある表情を維持する一方、CoMAは歪んだ結果を生むことを示す。