[論文レビュー] Fully-Featured Attribute Transfer

De Xie, Muli Yang+3 more|arXiv (Cornell University)|Feb 17, 2019

Advanced Image Processing Techniques参考文献 34被引用数 7

ひとこと要約

本稿では、多様体学習を用いて画像の属性と背景を分離することで、完全な属性転送を実現するGANベースの新規フレームワークAME-GANを提案する。属性と背景の潜在変数をそれぞれ正規分布および一様分布でモデル化し、条件付きマルチスケールディスクラミネーターを採用することで、顔画像および非顔画像において、単一および複数の属性に対して高精細で制御可能かつアーチファクトのない属性転送を達成した。

ABSTRACT

Image attribute transfer aims to change an input image to a target one with expected attributes, which has received significant attention in recent years. However, most of the existing methods lack the ability to de-correlate the target attributes and irrelevant information, i.e., the other attributes and background information, thus often suffering from blurs and artifacts. To address these issues, we propose a novel Attribute Manifold Encoding GAN (AME-GAN) for fully-featured attribute transfer, which can modify and adjust every detail in the images. Specifically, our method divides the input image into image attribute part and image background part on manifolds, which are controlled by attribute latent variables and background latent variables respectively. Through enforcing attribute latent variables to Gaussian distributions and background latent variables to uniform distributions respectively, the attribute transfer procedure becomes controllable and image generation is more photo-realistic. Furthermore, we adopt a conditional multi-scale discriminator to render accurate and high-quality target attribute images. Experimental results on three popular datasets demonstrate the superiority of our proposed method in both performances of the attribute transfer and image generation quality.

研究の動機と目的

• 既存の属性転送手法が背景および不要な属性からターゲット属性を十分に分離できないという限界を解消すること。
• ぼやけやアーチファクトを引き起こさずに、画像のすべての詳細を変更できる完全な機能を備えた、制御可能な属性転送を実現すること。
• 高精細性を維持したまま、単一および複数の属性転送を統合的に処理できるフレームワークの開発。
• 背景潜在変数に一様分布制約を課すことで背景の一貫性をモデル化し、リアルな画像生成を確保すること。

提案手法

• 多様体学習を用いて、画像を属性と背景の成分に分解し、それぞれを別々の部分多様体（$\mathcal{M}_A$ および $\mathcal{M}_B$）に射影する。
• 属性潜在変数に独立同一分布の正規分布を課して、属性のばらつきと独立性をモデル化する。
• 背景潜在変数が一様分布に従うように制約を課し、背景の一貫性を保ち、アーチファクトを低減する。
• 生成画像の正確性と解像度を向上させるために、属性に注意を払った条件付きマルチスケールディスクラミネーターを採用する。
• 属性デコーダーと背景デコーダーの二重デコーダー構造を採用し、それぞれの潜在コードから画像の対応する部分を再構築する。
• ハイパーパrameter $\theta$ を介して属性潜在変数の振幅を調整する制御可能な転送メカニズムを導入し、属性強度の段階的制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多様体に基づく分離は、画像の属性を背景や不要な特徴から効果的に分離できるか？
• RQ2 属性潜在変数に正規分布、背景潜在変数に一様分布を課すことで、画像のリアルさが向上し、アーチファクトが低減するか？
• RQ3 提案手法は、単一および複数の属性に対して、高品質で制御可能な属性転送を達成できるか？
• RQ4 条件付きマルチスケールディスクラミネーターは、転送画像の知覚的品質および解像度にどのように寄与するか？
• RQ5 このフレームワークは顔属性転送を越えて、他の画像対画像翻訳タスクにも一般化可能か？

主な発見

• CelebAデータセットにおいて、8つの属性について平均的な属性転送精度が最高を記録し、StarGAN や AttGAN などのベースラインを上回った。
• 転送画像の平均的な知覚的類似性誤差（LPIPS v0.1）が最低であり、優れたリアルさとぼやけやアーチファクトの低減を示した。
• 視覚的結果から、特に複雑な複数属性の組み合わせ下でも、AME-GANはStarGAN や AttGAN よりもシャープでよりリアルな画像を生成した。
• ハイパーパrameter $\theta$ の段階的調整により、制御可能な属性転送が成功裏に実装され、属性の強度を滑らかに制御可能であった。
• CUBデータセットを用いたフェザー色の転送実験では、視覚的に妥当な結果が得られ、非顔属性転送への一般化が良好に達成された。
• 条件付きマルチスケールディスクラミネーターは、生成画像に明確なテクスチャと繊細なディテールをもたらし、画像品質を顕著に向上させた。