[論文レビュー] GeneGAN: Learning Object Transfiguration and Attribute Subspace from Unpaired Data

Shuchang Zhou, Taihong Xiao+4 more|arXiv (Cornell University)|May 14, 2017

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 49

ひとこと要約

GeneGANは、ペアのない弱いラベル付きデータ（例：眼鏡や笑顔の有無を示す0/1ラベル）から、分離されたオブジェクト属性部分空間を学習する決定論的生成モデルを提案する。敵対的訓練とサイクル再構成を活用することで、ペアのない画像や明示的なオブジェクトセグメンテーションがなくても、顔の間で眼鏡の入れ替えなどの正確なオブジェクト変形が可能になる。

ABSTRACT

Object Transfiguration replaces an object in an image with another object from a second image. For example it can perform tasks like "putting exactly those eyeglasses from image A on the nose of the person in image B". Usage of exemplar images allows more precise specification of desired modifications and improves the diversity of conditional image generation. However, previous methods that rely on feature space operations, require paired data and/or appearance models for training or disentangling objects from background. In this work, we propose a model that can learn object transfiguration from two unpaired sets of images: one set containing images that "have" that kind of object, and the other set being the opposite, with the mild constraint that the objects be located approximately at the same place. For example, the training data can be one set of reference face images that have eyeglasses, and another set of images that have not, both of which spatially aligned by face landmarks. Despite the weak 0/1 labels, our model can learn an "eyeglasses" subspace that contain multiple representatives of different types of glasses. Consequently, we can perform fine-grained control of generated images, like swapping the glasses in two images by swapping the projected components in the "eyeglasses" subspace, to create novel images of people wearing eyeglasses. Overall, our deterministic generative model learns disentangled attribute subspaces from weakly labeled data by adversarial training. Experiments on CelebA and Multi-PIE datasets validate the effectiveness of the proposed model on real world data, in generating images with specified eyeglasses, smiling, hair styles, and lighting conditions etc. The code is available online.

研究の動機と目的

• ペアのない学習データや明示的なオブジェクトセグメンテーションを必要としないオブジェクト変形の課題に対処すること。
• 例としての画像を用いて、眼鏡や顔の表情といった望ましい属性を細かく制御できる画像生成を可能にすること。
• 0/1ラベルによる弱い教師付き学習から、多様で現実的な画像操作を可能にする、分離された属性部分空間を学習すること。
• 逆写像を必要としないが、サイクル再構成損失を用いた対称的で安定した学習フレームワークを構築すること。

提案手法

• 背景特徴とオブジェクト固有の特徴を分離するエンコーダ・デコーダアーキテクチャを用いた条件付き生成モデルを訓練する。
• 敵対的訓練により、現実的な画像再構成と生成を保証し、訓練の安定化のためにサイクル一貫性損失を用いる。
• 顔のランドマーク（例：顔のランドマーク）を用いた空間的アライメントにより、2つのペアのないデータセット（例：眼鏡あり、眼鏡なし）間の画像をアライメントする。
• オブジェクト特徴を、補間やスケーリング、画像間での属性交換を可能にする学習済みの属性部分空間に投影する。
• 背景特徴を固定したまま、デコーダ内のオブジェクト特徴ベクトルを置き換えることで、オブジェクト変形を実現する。
• 線形特徴空間の仮定を用いて、潜在空間での特徴の加算や交換を実行し、自然な見た目の編集を実現する。

実験結果

リサーチクエスチョン

• RQ1 ペアのない画像や明示的なセグメンテーションがなくても、ペアのない弱いラベル付きデータ（0/1ラベル）から、分離された属性部分空間を学習できるか？
• RQ2 属性の有無を示す0/1ラベルのみで、対称的な学習目的を用いてオブジェクト変形を達成できるか？
• RQ3 モデルは未観測データに一般化可能であり、アイデンティティを越えて、眼鏡やヘアスタイル、照明などの属性交換を現実的に実行できるか？
• RQ4 学習済みの属性部分空間は、アーチファクトを生じさせずに、意味的な補間や属性操作を可能にするか？
• RQ5 再構成品質と属性の一貫性において、サイクル損失を用いたGANと比較して、モデルはどのように差をつけるか？

主な発見

• GeneGANは、ペアのないデータから『眼鏡』の属性部分空間を成功裏に学習し、ペアの例がなくても顔どうしで眼鏡を入れ替えられる。
• Wider Faceデータセットを用いた実験で、制約が少ない環境下でも、未学習データに良好に一般化され、現実的な編集が可能であることが示された。
• 学習済みの属性部分空間内での補間により、異なるヘアスタイルや顔の特徴間で自然な遷移が得られ、分離性の確認ができた。
• GeneGANは、再構成の一貫性と属性の忠実度において、DiscoGANを上回り、最小限のアーチファクトとアイデンティティ・背景の良好な保持を実現した。
• サイクル再構成損失は、訓練の安定性を向上させ、元のドメインとターゲットドメインの内部次元が異なっていても、対称的な学習が可能になった。
• 特徴の交換によるオブジェクト変形は、高品質で現実的な画像を生成し、結果として、元の属性スタイル（例：髪の向き、笑顔の強さ）と強く一致していた。