[論文レビュー] Inpainting Normal Maps for Lightstage data

Hancheng Zuo, Bernard Tiddeman|arXiv (Cornell University)|Jan 1, 2023

Generative Adversarial Networks and Image Synthesis被引用数 1

ひとこと要約

本稿では、Lightstageデータから得られる法線マップの欠損領域を補完するGANベースの法線マップ補間手法を提案する。生成器を修正し、コサイン損失とマスク認識型学習を用いることで、高品質で現実的な顔面領域の再構築を実現した。限られた学習データと法線マップ固有のベクトル特性を考慮しても、特に複雑な顔貌特徴において、詳細の正確性と視覚的忠実度が向上した。

ABSTRACT

This study introduces a novel method for inpainting normal maps using a generative adversarial network (GAN). Normal maps, often derived from a lightstage, are crucial in performance capture but can have obscured areas due to movement (e.g., by arms, hair, or props). Inpainting fills these missing areas with plausible data. Our approach extends previous general image inpainting techniques, employing a bow tie-like generator network and a discriminator network, with alternating training phases. The generator aims to synthesize images aligning with the ground truth and deceive the discriminator, which differentiates between real and processed images. Periodically, the discriminator undergoes retraining to enhance its ability to identify processed images. Importantly, our method adapts to the unique characteristics of normal map data, necessitating modifications to the loss function. We utilize a cosine loss instead of mean squared error loss for generator training. Limited training data availability, even with synthetic datasets, demands significant augmentation, considering the specific nature of the input data. This includes appropriate image flipping and in-plane rotations to accurately alter normal vectors. Throughout training, we monitored key metrics such as average loss, Structural Similarity Index Measure (SSIM), and Peak Signal-to-Noise Ratio (PSNR) for the generator, along with average loss and accuracy for the discriminator. Our findings suggest that the proposed model effectively generates high-quality, realistic inpainted normal maps, suitable for performance capture applications. These results establish a foundation for future research, potentially involving more advanced networks and comparisons with inpainting of source images used to create the normal maps.

研究の動機と目的

• パフォーマンスキャプチャ中に髪や腕、小物による隠蔽によって生じるLightstage由来の法線マップにおける欠損領域を補完する課題に対処すること。
• 法線マップデータが通常のRGB画像とは異なり、方向ベクトル場であるという特徴に適合した、深層学習ベースの画像補間手法を適応させること。
• 損失関数の修正とデータ拡張技術の改善を通じて、変換時のベクトル幾何構造を保持することで、補間品質を向上させること。
• 生成器入力にマスクチャネルを組み込むことで、再構築の正確性と視覚的リアリズムを向上させる有効性を評価すること。

提案手法

• コンテキストエンコーダーとDCGANを想起させる、バタフライ型の生成器と識別器を用いたGANフレームワークを、法線マップ補間に適応する。
• 標準的な平均二乗誤差損失の代わりに、予測された法線ベクトルが真値の方向と一致するように最適化するためのコサイン損失を導入する。
• 幾何的認識型データ拡張を適用：画像と法線ベクトル成分の両方に、行列変換を用いて反転および平面内回転を実施する。
• 生成器の入力にマスクチャネルを追加することで、再構築をガイドし、空間的一致性と詳細の正確性を向上させる。
• 生成器と識別器の交互学習を実施し、分類性能の維持を図るため、定期的に識別器を再トレーニングする。
• 安定した収束と品質を保証するため、SSIM、PSNR、および生成器／識別器の損失と正答率をモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 生成器学習時にマスクチャネルを組み込むことで、補間された法線マップの品質とリアリズムにどのような影響を与えるか？
• RQ2 コサイン損失が、表面法線の方向一貫性を保つことで、MSEに比べて法線マップ補間において優れているか？
• RQ3 幾何的認識型データ拡張技術は、小規模で合成された法線マップデータセットにおいて、モデルの一般化性能をどの程度向上させるか？
• RQ4 不規則な線、中央の塊、散在する小さな塊といった異なるマスクパターンは、複雑な顔貌特徴の再構築能力にどのような影響を与えるか？
• RQ5 アーキテクチャの変更（例：拡張されたレイヤー構造）と損失関数の変更の、全体的な性能に与える相対的寄与度はいかほどか？

主な発見

• 本モデルは、鼻の穴や唇といった複雑な顔貌特徴ですら、人間が信じるに足る高品質で視覚的に現実的な補間法線マップを生成する。
• 学習時にマスクチャネルを組み込むことで、特に繊細な顔貌構造において、わずかではあるが視覚的に顕著な詳細の正確性の向上が得られた。
• SSIMとPSNRの指標では、マスクの組み込みによる定量的改善は僅か（SSIMが12.34%向上）にとどまるが、視覚的評価では明確な詳細再構築の改善が確認された。
• MSEの代わりにコサイン損失を用いることで、予測された法線の方向一貫性が著しく向上し、真値のベクトル場とよりよく一致した。
• 多様なマスクパターンに対して本モデルは頑健であることが示され、パフォーマンスキャプチャにおけるさまざまな隠蔽状況に適応可能であることが裏付けられた。
• 限られた学習データでも、広範な幾何的認識型拡張と注意深く設計された損失関数のおかげで、安定した学習と高品質な結果が達成された。