[論文レビュー] Unsupervised Image-to-Image Translation with Generative Adversarial Networks

Hao Dong, Paarth Neekhara+2 more|arXiv (Cornell University)|Jan 10, 2017

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 70

ひとこと要約

この論文は、条件GANと画像エンコーダを用いた2段階の自己教師なし手法を提案し、ドメイン間で双方向かつドメイン非依存に画像を翻訳する。

ABSTRACT

It's useful to automatically transform an image from its original form to some synthetic form (style, partial contents, etc.), while keeping the original structure or semantics. We define this requirement as the "image-to-image translation" problem, and propose a general approach to achieve it, based on deep convolutional and conditional generative adversarial networks (GANs), which has gained a phenomenal success to learn mapping images from noise input since 2014. In this work, we develop a two step (unsupervised) learning method to translate images between different domains by using unlabeled images without specifying any correspondence between them, so that to avoid the cost of acquiring labeled data. Compared with prior works, we demonstrated the capacity of generality in our model, by which variance of translations can be conduct by a single type of model. Such capability is desirable in applications like bidirectional translation

研究の動機と目的

• ドメイン間で paired data を用いず、セマンティクスと構造を保持しつつ画像を翻訳することを目指す。
• 単一のモデルで複数のドメイン翻訳を処理できる universal mapping を学習する。
• 共有潜在特徴を活用してドメイン間の双方向翻訳を可能にする。

提案手法

• auxiliary classifier GAN を用いてドメインを超えるグローバルな共有特徴を学習し、[-1, 1] の潜在 z として表現する。
• ドメインラベルと潜在 z を条件としてターゲットドメインの画像を生成する条件付きジェネレーターを訓練する。
• 実画像を潜在空間 z に写像する画像エンコーダ E を導入し、生成器を介して z を再構成することを MSE 損失を用いて強制する。
• 入力画像を z に写像し、望ましいラベルを条件としてターゲットドメインの画像を生成して翻訳を行う。
• 訓練は2段階で行われる：ステップ1で G を全ドメインに対して訓練；ステップ2で E を全ドメインに対して訓練し、生成器は固定する。

実験結果

リサーチクエスチョン

• RQ1 共有潜在表現を用いた自己教師なし学習により、複数の画像ドメイン間で双方向翻訳を実現できるか？
• RQ2 2段階フレームワーク（生成器学習の後にエンコーダ学習）が、エンドツーエンドの手法と比較して再構成と翻訳品質を向上させるか？
• RQ3 ユニバーサル学習アプローチは、単一モデルで性別や表情属性など多様な翻訳タスクを処理できるか？

主な発見

• CelebA での性別変換と大統領討論ビデオでの顔交換に対する双方向翻訳を実証した。
• この手法は背景と表情を維持しながら翻訳を学習することを示し、意味的保存が効果的であることを示唆している。
• 2段階の訓練は、訓練済み生成器からの合成データを用いて画像エンコーダを訓練し、データ効率と表現能力を向上させる。
• 翻訳はエンコーダを適用して z を得た後、条件付きジェネレーターを用いてターゲットドメインの画像を合成することで達成される。
• このアプローチは単一モデルで複数のドメインを学習できることを支持し、学習アルゴリズムの普遍性を強調する。