[論文レビュー] Barbershop: GAN-based Image Compositing using Segmentation Masks

Peihao Zhu, Rameen Abdal+2 more|arXiv (Cornell University)|Jun 2, 2021

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 12

ひとこと要約

Barbershopは、W+スタイルのコードと構造テンソルを組み合わせた新しい潜在空間を用いるGANベースの画像合成フレームワークを提案する。これにより、高精細でグローバルに一貫性のあるヘアスタイルの転送が可能になる。参照画像を共通のセグメンテーションマスクにあわせ、この拡張された潜在空間に埋め込むことで、95%のユーザー選好を達成し、アーティファクトを最小限に抑え、しわやそばかすといった微細なディテールを保持する優れたブレンド品質を実現する。

ABSTRACT

Seamlessly blending features from multiple images is extremely challenging because of complex relationships in lighting, geometry, and partial occlusion which cause coupling between different parts of the image. Even though recent work on GANs enables synthesis of realistic hair or faces, it remains difficult to combine them into a single, coherent, and plausible image rather than a disjointed set of image patches. We present a novel solution to image blending, particularly for the problem of hairstyle transfer, based on GAN-inversion. We propose a novel latent space for image blending which is better at preserving detail and encoding spatial information, and propose a new GAN-embedding algorithm which is able to slightly modify images to conform to a common segmentation mask. Our novel representation enables the transfer of the visual properties from multiple reference images including specific details such as moles and wrinkles, and because we do image blending in a latent-space we are able to synthesize images that are coherent. Our approach avoids blending artifacts present in other approaches and finds a globally consistent image. Our results demonstrate a significant improvement over the current state of the art in a user study, with users preferring our blending solution over 95 percent of the time.

研究の動機と目的

• 照明、幾何学的形状、隠蔽の要因によって、画像領域間に強い相関関係が生じるヘアスタイル転送を含む、滑らかな画像合成の課題に対処すること。
• 既存のGANベースの編集手法が、ソース領域とターゲット領域の間で意味的不整合を生じさせることで、断片的または一貫性のない結果を生むという制限を克服すること。
• 空間的構造と微細なディテールを保持しつつ、複数の画像ソース間で一貫性のあるブレンドを可能にする潜在空間表現を開発すること。
• 複数の参照画像から、外見（例：髪の色、質感）と構造的属性（例：髪の形、ポーズ）を1つの現実的な合成画像に転送できるようにすること。
• 照明、影、顔面の幾何学的形状のグローバルな一貫性を実現し、不自然な境界や非隠蔽問題といった一般的なアーティファクトを避けること。

提案手法

• 標準のW+潜在コードに加え、学習された構造テンソルを組み合わせた新しい潜在空間$FS$を導入し、空間的認識能力を高め、微細な顔貌ディテールを保持する。
• 画像を参照画像に類似させる一方で、ターゲットのセグメンテーションマスクに適合するように微妙に変更するGAN埋め込みアルゴリズムを提案し、意味的整合性を保証する。
• $FS$潜在空間を用いて、複数の参照画像（例：顔、背景、髪）を共有表現に埋め込み、アイデンティティと構造的一致性を維持する。
• $FS$空間内で埋め込み済みの潜在コードをブレンドすることで画像合成を実行し、GANの生成的事前分布を活用して一貫性があり高解像度の出力画像を合成する。
• 埋め込み中に、再構成忠実度、アイデンティティ保持、マスク準拠性のバランスを取るための損失関数を適用し、知覚的損失とL2損失を用いる。
• 生成器としてStyleGAN-ADAを採用し、コンテンツとスタイル属性の分離性を維持しながら高品質な合成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 W+空間とは異なる変更された潜在空間表現は、特に髪のような複雑な属性において、GANベースの画像合成の忠実性と空間的一致性を向上させ得るか？
• RQ2 セグメンテーションマスクによる意味的整合性が、制約のないブレンドと比較して、ブレンド領域の品質と現実性にどのように影響するか？
• RQ3 GAN埋め込みアルゴリズムは、新しいセグメンテーションマスクに適合しつつも、微細なディテール（例：そばかす、しわ）をどの程度保持できるか？
• RQ4 空間的に認識可能な潜在空間でのブレンドは、不自然な境界、照明の不一致、非隠蔽問題といった一般的なアーティファクトを軽減するか？
• RQ5 実世界の編集タスクにおいて、本手法はSOTA手法と比較してユーザーの好みと知覚的品質の面で優れているか？

主な発見

• 提案された$FS$潜在空間は、顔貌特徴や髪の構造において、標準のW+空間と比較して、ディテールの保持と空間的一致性が顕著に向上している。
• GAN埋め込みアルゴリズムは、高い知覚的品質とアイデンティティ保持を維持したまま、参照画像をターゲットのセグメンテーションマスクに適合させるのに成功している。
• 制御されたユーザー調査において、既存のSOTA手法と比較して95%のユーザー選好を達成し、顕著な知覚的優位性を示している。
• 意味的・構造的整合性を強制することで、硬い境界、不自然な照明、非隠蔽問題といったブレンドアーティファクトが効果的に低減されている。
• 重複しないマスクや視点の不一致に対しても、先行研究よりも優れた対処能力を示しているが、極端な幾何的歪みにはまだ限界がある。
• 失敗モードとして、代表されていない特徴（例：装飾品）の再構成が不十分であること、細かく透明な髪の毛やマスクの不整合に対応できないことが判明しており、今後の改善の余地がある。