[論文レビュー] GmFace: A Mathematical Model for Face Image Representation Using Multi-Gaussian

Liping Zhang, Weijun Li+6 more|arXiv (Cornell University)|Aug 3, 2020

Face recognition and analysis参考文献 47被引用数 4

ひとこと要約

GmFaceは、制御可能なパラメータを備えた多変量ガウス関数を用いて顔の構造をモデル化する数学的顔画像表現を提案する。GmFaceのパラメータを符号化するガウスニューロンを備えたGmNetを訓練することで、顔モデリングをネットワーク最適化問題に変換し、正確で微分可能な顔再構築が可能になるとともに、パrameter操作による数学的顔変換が実現される。

ABSTRACT

Establishing mathematical models is a ubiquitous and effective method to understand the objective world. Due to complex physiological structures and dynamic behaviors, mathematical representation of the human face is an especially challenging task. A mathematical model for face image representation called GmFace is proposed in the form of a multi-Gaussian function in this paper. The model utilizes the advantages of two-dimensional Gaussian function which provides a symmetric bell surface with a shape that can be controlled by parameters. The GmNet is then designed using Gaussian functions as neurons, with parameters that correspond to each of the parameters of GmFace in order to transform the problem of GmFace parameter solving into a network optimization problem of GmNet. The face modeling process can be described by the following steps: (1) GmNet initialization; (2) feeding GmNet with face image(s); (3) training GmNet until convergence; (4) drawing out the parameters of GmNet (as the same as GmFace); (5) recording the face model GmFace. Furthermore, using GmFace, several face image transformation operations can be realized mathematically through simple parameter computation.

研究の動機と目的

• 多ガウス関数を用いて数学的に厳密かつ制御可能な顔画像表現を開発すること。
• 生体的変動や動的挙動による複雑な顔構造のモデル化の課題に対処すること。
• GmNetを介してGmFaceモデルのパrameter推定問題をトレーニング可能なニューラルネットワーク最適化問題に変換すること。
• GmFaceパラメータの直接的操作によって数学的顔変換（例：編集、合成）を可能にすること。

提案手法

• 各ガウス成分が局所的な顔特徴を調整可能な振幅、平均、共分散で捉える多ガウス関数を用いて顔画像をモデル化する。
• GmFaceの各ガウス成分に対応するニューロンを備えたGmNetとしてのニューラルネットワークを設計し、学習可能なパラメータをGmFaceの構造と一致させる。
• GmNetを初期化し、顔画像上でトレーニングすることで、入力顔画像を最もよく再構築するパラメータを最適化する。
• トレーニングプロセスを収束させ、最終的なGmFaceパラメータを抽出し、完全な顔モデルを定義する。
• 学習されたGmFaceパラメータを用いて、再トレーニングなしに単純なパラメータ計算により顔編集や合成などの数学的操作を実行する。
• 2次元ガウス関数の固有の性質を活用して、顔表現の対称性と滑らかさを確保する。

実験結果

リサーチクエスチョン

• RQ1 多ガウス関数は、高い忠実度と制御性を備えて複雑な顔構造を効果的に表現できるか？
• RQ2 深層学習を用いてGmFaceモデルのパラメータ推定をどのように効率的に解決できるか？
• RQ3 GmFaceパラメータの直接的操作によって、どの程度数学的顔変換を達成できるか？
• RQ4 GmNetアーキテクチャは、多様な顔貌に一般化可能でありながら、幾何的・光度的正確性を保持できるか？

主な発見

• GmFaceモデルは、高精度な再構築を実現する少数の多ガウス成分を用いて顔画像を効果的に表現できた。
• GmNetはエンドツーエンドのトレーニングによりGmFaceパラメータを効果的に学習し、頑健で安定した顔モデリングを可能にした。
• 顔編集や合成などの顔画像変換が、再トレーニングなしに単純なパラメータ計算により実現された。
• 本手法は微分可能で解釈可能な顔モデリングを実現し、顔認識や合成などの応用に適している。
• 2次元ガウス関数の使用により、対称的で滑らかでパラメータ制御可能な顔表面表現が実現された。
• 本フレームワークは、パラメータレベルの操作によって顔認識や生成などの後続タスクへの応用が可能であると示された。