[論文レビュー] Cross-Domain Adversarial Auto-Encoder

Haodi Hou, Jing Huo+1 more|arXiv (Cornell University)|Apr 17, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 3

ひとこと要約

本稿では、共有のコンテンツ潜在空間と個別のスタイル潜在空間において、コンテンツとスタイルを分離するクロスドメイン adversarial auto-encoder (CDAAE) を提案する。このフレームワークにより、クロスドメイン画像生成、変換、ドメイン適応が可能となる。ラベル付きおよびラベルなしデータを用いて、SVHN→MNIST、USPS→MNIST、MNIST→USPS ベンチマークでそれぞれ 98.28%、96.37%、95.91% の精度を達成し、最先端の性能を発揮した。

ABSTRACT

In this paper, we propose the Cross-Domain Adversarial Auto-Encoder (CDAAE) to address the problem of cross-domain image inference, generation and transformation. We make the assumption that images from different domains share the same latent code space for content, while having separate latent code space for style. The proposed framework can map cross-domain data to a latent code vector consisting of a content part and a style part. The latent code vector is matched with a prior distribution so that we can generate meaningful samples from any part of the prior space. Consequently, given a sample of one domain, our framework can generate various samples of the other domain with the same content of the input. This makes the proposed framework different from the current work of cross-domain transformation. Besides, the proposed framework can be trained with both labeled and unlabeled data, which makes it also suitable for domain adaptation. Experimental results on data sets SVHN, MNIST and CASIA show the proposed framework achieved visually appealing performance for image generation task. Besides, we also demonstrate the proposed method achieved superior results for domain adaptation. Code of our experiments is available in https://github.com/luckycallor/CDAAE.

研究の動機と目的

• クロスドメイン画像推論、生成、変換を、コンテンツとスタイル表現の分離によって解決すること。
• 入力1つからスタイルを操作することで、多様なサンプルを生成し、コンテンツを保持すること。
• ラベル付きおよびラベルなしデータを用いたドメイン適応を支援することで、ドメイン間での一般化を向上させること。
• 半教師あり学習とクロスドメイン転移を両立できる統合フレームワークの開発

提案手法

• コンテンツとスタイルのための別々のエンコーダーを用い、コンテンツはドメイン間で共有され、スタイルは各ドメイン固有となる。
• コンテンツおよびスタイルの潜在コードを、敵対的訓練により事前分布（ガウス分布）に一致させ、サンプリングを可能にする。
• 生成器は、コンテンツおよびスタイルの潜在コードを連結して画像を再構築し、再構築損失およびコンテンツ一貫性損失を強制する。
• モデルは、ドメイン適応のためのラベル付きデータと、教師なし学習のためのラベルなしデータの両方を用いて学習される。
• ドメイン適応における予測信頼度を向上させるためのブースティング戦略が適用され、しきい値を設定した予測を用いて学習を精緻化する。
• コンテンツを1つのドメインから、スタイルを別のドメインから組み合わせることで、クロスドメイン画像翻訳を実現する。

実験結果

リサーチクエスチョン

• RQ1 統合されたオートエンコーダー枠組みは、クロスドメイン画像生成のためのコンテンツとスタイルの分離を効果的に実現できるか？
• RQ2 スタイルを操作することで、1つの入力から多様で意味的に一貫性のある画像を生成できるか？
• RQ3 ラベル付きおよびラベルなしデータを用いることで、本フレームワークは優れたドメイン適応性能を達成できるか？
• RQ4 分離された潜在空間アプローチは、共有潜在空間アプローチと比較して、クロスドメイン翻訳において優れているか？

主な発見

• CDAAE は、SVHN から MNIST へのドメイン適応ベンチマークで 98.28% の精度を達成し、先行研究の最先端手法を上回った。
• より困難な USPS から MNIST へのタスクでは、CDAAE が 96.37% の精度を達成し、前回の最先端手法を顕著に上回った。
• 異なるドメインからのコンテンツとスタイルを組み合わせることで、視覚的に魅力的なクロスドメイン画像を生成し、意味的な分離が有効であることを示した。
• 画像翻訳の文脈では、ペairedデータが存在しない状況でも、一貫性のあるコンテンツと転送されたスタイルを持つ多様な出力を効果的に生成できた。
• ブーストされたバージョンの CDAAE は、すべてのドメイン適応シナリオで性能が向上し、信頼度ベースの精緻化戦略の有効性を示した。