[論文レビュー] Label Denoising Adversarial Network (LDAN) for Inverse Lighting of Face Images

Hao Zhou, Jin Sun+2 more|arXiv (Cornell University)|Sep 6, 2017

Image Enhancement Techniques参考文献 21被引用数 7

ひとこと要約

本稿では、ノイズの多い実データのラベルを軽減するために、クリーンなラベルを備えた合成データを用いて、1枚の顔画像から球面調和関数の照明パラメータを回帰する深層畳み込みニューラルネットワーク（LDAN）を提案する。生成対抗ネットワーク（GAN）を用いた特徴ドメイン適応と回帰損失を組み合わせることで、最適化ベースの手法に比べ100,000倍の高速化を達成し、類似した照明条件下でも一貫性と精度の面で先行研究を上回る性能を発揮する。

ABSTRACT

Lighting estimation from face images is an important task and has applications in many areas such as image editing, intrinsic image decomposition, and image forgery detection. We propose to train a deep Convolutional Neural Network (CNN) to regress lighting parameters from a single face image. Lacking massive ground truth lighting labels for face images in the wild, we use an existing method to estimate lighting parameters, which are treated as ground truth with unknown noises. To alleviate the effect of such noises, we utilize the idea of Generative Adversarial Networks (GAN) and propose a Label Denoising Adversarial Network (LDAN) to make use of synthetic data with accurate ground truth to help train a deep CNN for lighting regression on real face images. Experiments show that our network outperforms existing methods in producing consistent lighting parameters of different faces under similar lighting conditions. Moreover, our method is 100,000 times faster in execution time than prior optimization-based lighting estimation approaches.

研究の動機と目的

• 野生の顔画像に対して、真の照明ラベルが不足している問題に対処すること。
• 既存の推定手法によるノイズの多いラベルがあるにもかかわらず、実顔画像における照明回帰性能を向上させること。
• 正確な照明ラベルを備えた合成顔画像を活用して、実世界の推論に耐性のある深層畳み込みニューラルネットワークを訓練すること。
• GANによるドメイン適応と回帰損失を組み合わせ、意味的でラベル一貫性のある特徴マッピングを保証すること。
• 低解像度の顔画像向けに、高速かつ正確な照明推定を可能にし、画像編集や偽造検出などの応用に適すること。

提案手法

• LDANは二重ストリームアーキテクチャを採用：実データ用の特徴ネットと、球面調和関数係数を予測する照明ネット。
• モデルはクリーンなラベルを備えた合成データで事前学習され、合成データ用の照明ネットと特徴ネットが固定される。
• ドメイン適応モジュールは、識別器を用いて実データと合成データの照明特徴を区別する一方、実データ用特徴ネットはそれを欺かせるように学習される。
• 実データ用特徴ネットは、ノイズの多い実ラベルとの予測誤差を最小化する回帰損失と併せて共同最適化される。
• この手法は、合成データがノイズのない監視信号を提供するのに対し、実データのラベルはノイズを含んでも有用な情報を含むという仮定に立っている。
• 64×64 RGB 顔画像を対象として、低解像度入力に対応するため、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 正確な照明ラベルを備えた合成データは、ノイズの多いラベルを持つ実顔画像における深層畳み込みニューラルネットワークの性能を向上させることができるか？
• RQ2 GANベースのドメイン適応と回帰損失を組み合わせることで、照明回帰の精度にどのような影響を与えるか？
• RQ3 提案手法は最適化ベースの照明推定よりも高速な推論を達成できるか？
• RQ4 同じ照明条件下での異なる顔に対して、モデルは一貫性のある照明予測を生成できるか？
• RQ5 最先端の手法と比較して、本手法のロバストネスと一般化性能はどの程度か？

主な発見

• LDANはSIRFS手法に比べ100,000倍の高速化を達成し、GPU上で1秒間に2,400枚の顔画像を処理できる。
• MultiPieデータセットにおいて、LDANはSIRFS SHおよびREALベースラインと比較して、ユークリッド距離とQメジャーの両面で優れた性能を示し、同じ照明条件の顔ペア間での一貫性が向上した。
• アブレーションスタディの結果、GAN損失または回帰損失のいずれかを削除すると性能が低下し、両方のコンponentが必須であることが確認された。
• 3DMMベースの手法が法線推定に不正確さを生じるため失敗する64×64解像度の顔画像に対しても、LDANは高い精度を維持する。
• LDANは物理的に妥当な照明（非負のDC成分を含む）を予測するが、'3D照明'はときとして負のDC値を生成するのに対し、それとは対照的である。
• LDANが予測したSHパラメータを用いた視覚的合成では、特に均一な照明条件下で、SIRFS SHよりもより現実的な照明効果が得られた。