[論文レビュー] BioFaceNet: Deep Biophysical Face Image Interpretation

Sarah Alotaibi, William A. P. Smith|arXiv (Cornell University)|Aug 28, 2019

Face recognition and analysis参考文献 22被引用数 5

ひとこと要約

BioFaceNetは、1枚のRGB顔画像を、メラニンとヘモグロビンのマップに加え、拡散反射と鏡面反射の照度、スペクトル照明、カメラ感度に分解する深層畳み込みニューラルネットワークを提案する。生物学的・物理的事前知識を導入することで、多スペクトルデータから得られる疑似教師データを用いた新規ベンチマーク上で最先端の性能を達成し、物理的に意味のある画像編集が可能になり、従来手法に比べてより現実的である。

ABSTRACT

In this paper we present BioFaceNet, a deep CNN that learns to decompose a single face image into biophysical parameters maps, diffuse and specular shading maps as well as estimating the spectral power distribution of the scene illuminant and the spectral sensitivity of the camera. The network comprises a fully convolutional encoder for estimating the spatial maps with a fully connected branch for estimating the vector quantities. The network is trained using a self-supervised appearance loss computed via a model-based decoder. The task is highly underconstrained so we impose a number of model-based priors. Skin spectral reflectance is restricted to a biophysical model, we impose a statistical prior on camera spectral sensitivities, a physical constraint on illumination spectra, a sparsity prior on specular reflections and direct supervision on diffuse shading using a rough shape proxy. We show convincing qualitative results on in-the-wild data and introduce a benchmark for quantitative evaluation on this new task.

研究の動機と目的

• 制約のない環境下における顔の外観分解に、生物学的制約を課した深層学習手法が不足しているという問題に取り組む。
• 1枚の顔画像を、メラニンやヘモグロビンといった解釈可能な生物学的パラメータ、ならびに拡散反射と鏡面反射の照度に分解する。
• 物理的および統計的制約を課しながら、スペクトル照明とカメラ感度を推定し、現実性と妥当性を向上させる。
• 多スペクトル画像から得られる疑似教師データを用いて、生物学的顔の分解を評価するためのベンチマークを確立する。
• メラニンやヘモグロビンといったパラメータマップを操作することで、直感的かつ物理的に意味のある画像編集を可能にする。

提案手法

• ネットワークは、メラニン、ヘモグロビン、拡散反射と鏡面反射の照度の空間的マップを予測する完全畳み込みエンコーダと、ベクトル量（照明とカメラ感度）を推定する全結合ブランチを用いる。
• モデルベースのデコーダが、予測されたパラメータから入力画像を再構築することで自己教師型の外観損失を計算し、教師なし学習を可能にする。
• 生物学的事前知識により、皮膚の反射率がメラニンとヘモグロビンの多様体に制約され、現実的な皮膚色の生成が保証される。
• カメラのスペクトル感度に統計的事前知識を適用し、物理的制約により現実的な照明スペクトルを強制する。
• スパarsity事前知識を用いて、現実的でない鏡面反射を抑制し、粗い形状プロキシを用いて拡散照度に直接教師信号を適用する。
• トレーニングは、CelebAの50kサブセット上でハイパーパrameterを最適化した損失の重み付き組み合わせを用い、多スペクトルデータのRGBレンダリングのみにアクセス可能である。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、現実的で制約のない条件下において、1枚のRGB顔画像を生物学的に妥当な皮膚色素マップ（メラニンとヘモグロビン）に分解できるか？
• RQ2 生物学的および物理的事前知識は、顔の外観分解という極めてアンダーコンストラインドな問題をどれほど効果的に制約できるか？
• RQ3 モデルベースのデコーダを用いた自己教師型学習アプローチは、教師データなしで最先端の手法を上回る性能を達成できるか？
• RQ4 予測されたパラメータマップが、どれほど現実的かつ直感的な画像編集を可能にするか？
• RQ5 多スペクトルデータから得られる疑似教師データを用いたベンチマークで、BioFaceNetの性能は既存手法と定量的に比較してどの程度優れているか？

主な発見

• 本モデルは、提案されたベンチマークでSfSnet手法 [Sengupta et al.(2018)] より優れた定量的性能を達成し、拡散照度とアルベドマップのRMSEが低かった。
• モデルは定性的に説得力のある結果を生成し、皮膚色のメラニンの局所化や、赤らみのある頬や唇のヘモグロビンの正確な特定が可能であった。
• メラニンマップの編集により皮膚の色が濃くなる（日焼けの模倣）、ヘモグロビンマップの編集により赤らみが現れるなど、物理的解釈可能性が直感的であることを示した。
• 鏡面反射マップは明確にスペキュラーなハイライトを検出でき、それらを除去すると一貫した色の変化が生じ、分解の物理的妥当性が裏付けられた。
• 生物学的皮膚モデルの導入により、制約のないアルベドモデルに比べて現実性が大幅に向上し、不自然な皮膚色の発生が抑制された。
• 強い事前知識にもかかわらず、スパースなスペキュラリティ事前知識は、過剰に飽和したアルベドマップを引き起こし、正則化戦略の見直しが必要であることを示唆した。