[論文レビュー] ELEGANT: Exchanging Latent Encodings with GAN for Transferring Multiple Face Attributes

Taihong Xiao, Jiapeng Hong+1 more|arXiv (Cornell University)|Mar 28, 2018

Face recognition and analysis参考文献 28被引用数 27

ひとこと要約

ELEGANTは、2つの入力画像間で分離された潜在符号を交換することで、複数の顔属性を転送するGANベースのモデルを提案する。残差学習とマルチスケール判別器を活用することで、高精細で高解像度の画像生成が可能となり、顔の同一性を保持するとともにアーティファクトを低減する。

ABSTRACT

Recent studies on face attribute transfer have achieved great success. A lot of models are able to transfer face attributes with an input image. However, they suffer from three limitations: (1) incapability of generating image by exemplars; (2) being unable to transfer multiple face attributes simultaneously; (3) low quality of generated images, such as low-resolution or artifacts. To address these limitations, we propose a novel model which receives two images of opposite attributes as inputs. Our model can transfer exactly the same type of attributes from one image to another by exchanging certain part of their encodings. All the attributes are encoded in a disentangled manner in the latent space, which enables us to manipulate several attributes simultaneously. Besides, our model learns the residual images so as to facilitate training on higher resolution images. With the help of multi-scale discriminators for adversarial training, it can even generate high-quality images with finer details and less artifacts. We demonstrate the effectiveness of our model on overcoming the above three limitations by comparing with other methods on the CelebA face database. A pytorch implementation is available at https://github.com/Prinsphield/ELEGANT.

研究の動機と目的

• 既存の顔属性転送手法の限界を解決する：例示例の使用が不可能であること、単一属性の転送に限定されること、画像品質が低いこと。
• 潜在空間における属性表現の分離により、複数の顔属性を同時に転送可能にする。
• 残差学習とマルチスケール判別器を用いることで、高解像度画像における訓練の安定性と画像品質を向上させる。
• 追加の同一性符号化器や消去操作の必要を排除し、アーキテクチャを単純化し、自明な解を避ける。

提案手法

• モデルは、ターゲット属性を持つ画像と持たない画像の2枚の入力画像を受け取り、それらの分離された潜在符号の特定部分を交換することで属性を転送する。
• 分離された属性表現は潜在空間で学習され、複数の属性を独立して操作可能になる。
• 残差学習により、生成器が出力画像と入力画像の差分（残差）のみを予測するように訓練することで、高解像度画像における訓練の安定性が向上する。
• U-Netベースの生成器アーキテクチャを用いて残差画像を再構築し、同一性と背景の詳細を保持する。
• 異なる解像度でマルチスケール判別器を適用することで、知覚的品質の向上とより繊細なディテールの生成が可能になる。
• 追加の同一性符号化器や消去操作を回避することで、アーキテクチャの複雑さを低減し、自明な解を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 ペairedトレーニングデータを必要とせず、2枚の例示例画像のみで顔属性転送を効果的に行うことができるか？
• RQ2 1回の生成プロセスで複数の顔属性をどのように分離し、同時に操作できるか？
• RQ3 高解像度顔画像を生成する際、残差学習が訓練の安定性と画像品質を向上させられるか？
• RQ4 マルチスケール判別器は、生成画像の忠実度とディテール品質をどの程度向上させるか？
• RQ5 同一性符号化器や複雑な操作（例：消去操作）を必要とせず、同一性の保持を維持できるか？

主な発見

• ELEGANTは、CelebAデータセットにおいて複数の属性で最先端のFIDスコアを達成し、ボーナス（追加）で30.71、笑顔（追加）で31.12、眼鏡（削除）で24.88を記録しており、高い画像品質を示している。
• ユニバーサル属性ベクトルに依存せず、さまざまなボーナス、眼鏡、ヘアカラーのスタイルを特化して転送可能であり、スタイル固有の転送が可能である。
• 残差画像を学習することで、訓練の安定性が向上し、最大256×256の高解像度生成が可能になり、アーティファクトが低減され、視覚的忠実度が向上する。
• 追加の同一性符号化器や消去操作が存在しないため、アーキテクチャが単純化され、自明な解を回避し、訓練の安定性が向上する。
• マルチスケール判別器は、繊細なディテールの生成を顕著に向上させ、質的結果から滑らかなテクスチャと自然なトランジションが得られていることが示されている。
• ELEGANTは、CycleGAN、StarGAN、DNA-GANに比べて、ほとんどの属性でFIDスコアが優れており、特に例示例ベースの設定において、優れた汎化性能と現実性を示している。