[論文レビュー] AlignGAN: Learning to Align Cross-Domain Images with Conditional Generative Adversarial Networks

Xudong Mao, Qing Li+1 more|arXiv (Cornell University)|Jul 5, 2017

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 14

ひとこと要約

本稿では、ペaired学習データが存在しない条件下で、生成器および識別器の特定の層にドメインベクトルを戦略的に条件づけることで、対応するデータがなくてもクロスドメイン画像をアライメントする条件付き GAN ベースのモデル AlignGAN を提案する。この手法により、ドメイン固有の意味と共有される意味が分離された特徴を学習でき、多様なドメイン間で高品質な画像アライメントが可能となり、ドメインおよびラベルベクトルのマルチ条件づけによるラベル伝搬も実現する。

ABSTRACT

Recently, several methods based on generative adversarial network (GAN) have been proposed for the task of aligning cross-domain images or learning a joint distribution of cross-domain images. One of the methods is to use conditional GAN for alignment. However, previous attempts of adopting conditional GAN do not perform as well as other methods. In this work we present an approach for improving the capability of the methods which are based on conditional GAN. We evaluate the proposed method on numerous tasks and the experimental results show that it is able to align the cross-domain images successfully in absence of paired samples. Furthermore, we also propose another model which conditions on multiple information such as domain information and label information. Conditioning on domain information and label information, we are able to conduct label propagation from the source domain to the target domain. A 2-step alternating training algorithm is proposed to learn this model.

研究の動機と目的

• ペア学習サンプルが利用できない状況下でクロスドメイン画像をアライメントする課題に取り組むこと。
• ドメインベクトルの条件づけ位置を最適化することで、条件付き GAN のクロスドメイン画像アライメント性能を向上させること。
• ドメインおよびラベルベクトルの共同条件づけにより、ソースドメインからターゲットドメインへのラベル伝搬を可能にすること。
• 通常は訓練が困難なマルチ条件づけモデルの安定した訓練戦略を開発すること。
• ドメインベクトルの次元を拡張することで、2つ以上のドメインへの一般化を実現すること。

提案手法

• 識別器の画像入力層にドメインベクトルを条件づけることでドメイン信号を強化するが、生成器のノイズ入力層には条件づけを避けることで共有される意味を保持する。
• ドメインおよびラベルベクトルを共同で最適化するマルチ条件づけモデルを、2段階の交互訓練アルゴリズムで最適化する。
• ドメインベクトルを用いた条件付き GAN 損失を適用し、生成器がドメインに整合した画像を生成するように誘導しつつ、コンテンツの意味を保持する。
• ドメイン固有および共有特徴の分離を活用し、ラベルベクトルによる制御を可能にすることで、生成画像のクラスを制御する。
• ほとんどのタスクで訓練の安定性と画像品質を向上させるために LSGAN 損失を用い、ドメインの数字と負の数字のタスクなどでは標準 GAN に切り替える。
• ドメインベクトルの次元を拡張することで、3つ以上のドメインにモデルを拡張する。

実験結果

リサーチクエスチョン

• RQ1 ペアデータが存在しない状況下でも、条件付き GAN がクロスドメイン画像アライメントに効果的に適応可能か？
• RQ2 ネットワークアーキテクチャにおけるドメインベクトルの条件づけ位置が、アライメント性能に与える影響は何か？
• RQ3 ドメインおよびラベル情報の共同条件づけにより、ソースドメインからターゲットドメインへの有効なラベル伝搬が可能か？
• RQ4 通常は訓練が困難なマルチ条件づけ GAN の最適化を安定化させる訓練戦略は何か？
• RQ5 AlignGAN は2つ以上のドメインおよび多様な画像変換タスクにどの程度一般化可能か？

主な発見

• AlignGAN は、ペアサンプルを必要とせず、数字と負の数字、金髪と黒髪、チェアと車といった複数のタスクでクロスドメイン画像を効果的にアライメントする。
• 生成画像同士の間で高い相関が得られ、たとえばチェアと車の画像生成において回転角度が一致するなど、ドメイン間で一貫性が保たれている。
• ドメインおよびラベルベクトルの両方を条件づけることで、ターゲットドメインにおけるクラスラベルの制御が可能となり、ラベル伝搬が有効に実現された。
• 2段階の交互訓練アルゴリズムにより、マルチ条件づけモデルの安定した訓練が可能となり、直接的な共同訓練では見られる収束問題を克服した。
• LSGAN 損失はほとんどのタスクで画像品質と訓練安定性を向上させたが、数字と負の数字のタスクでは標準 GAN がより優れた性能を示した。
• ドメインベクトルの次元を拡張することで、3つ以上のドメインへの一般化が可能であることが、モデルアーキテクチャの例によって実証された。