[論文レビュー] Exploring Explicit Domain Supervision for Latent Space Disentanglement in Unpaired Image-to-Image Translation

Jianxin Lin, Zhibo Chen+4 more|arXiv (Cornell University)|Feb 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 6

ひとこと要約

本稿では、事前学習済みドメイン分類器を用いた明示的なドメイン監視を介してドメイン固有特徴とドメインに依存しない特徴を分離する、新しい非ペaired画像対画像翻訳フレームワーク、DosGANを提案する。分類器の特徴を明示的なドメイン信号として活用することで、DosGANは非条件および条件付き翻訳タスクの両方で最先端の性能を達成し、未学習ドメインへのゼロショット転送や、任意の画像ペアを用いた条件付き翻訳を可能にする。

ABSTRACT

Image-to-image translation tasks have been widely investigated with Generative Adversarial Networks (GANs). However, existing approaches are mostly designed in an unsupervised manner while little attention has been paid to domain information within unpaired data. In this paper, we treat domain information as explicit supervision and design an unpaired image-to-image translation framework, Domain-supervised GAN (DosGAN), which takes the first step towards the exploration of explicit domain supervision. In contrast to representing domain characteristics using different generators or domain codes, we pre-train a classification network to explicitly classify the domain of an image. After pre-training, this network is used to extract the domain-specific features of each image. Such features, together with the domain-independent features extracted by another encoder (shared across different domains), are used to generate image in target domain. Extensive experiments on multiple facial attribute translation, multiple identity translation, multiple season translation and conditional edges-to-shoes/handbags demonstrate the effectiveness of our method. In addition, we can transfer the domain-specific feature extractor obtained on the Facescrub dataset with domain supervision information to unseen domains, such as faces in the CelebA dataset. We also succeed in achieving conditional translation with any two images in CelebA, while previous models like StarGAN cannot handle this task.

研究の動機と目的

• ペアのない画像対画像翻訳において、ドメインラベルがしばしば利用可能であるにもかかわらず、それらが不十分に活用されているという問題に対処すること。
• ドメインアイデンティティを明示的な監視として扱うことで、ドメイン固有特徴とドメインに依存しない特徴の分離を向上させること。
• 微調整なしに、未学習のデータセットへのドメイン固有特徴抽出器のゼロショット転送を可能にすること。
• 任意のソース画像とリファレンス画像を用いた条件付き画像翻訳をサポートすること。これは、StarGANのようなモデルでは実現できない機能である。

提案手法

• ペアのないデータからのドメインラベルを用いて、深層畳み込みニューラルネットワーク分類器を事前学習し、画像のドメインを予測する。
• 事前学習済み分類器の2番目に最後の層を、各画像のドメイン固有特徴抽出器として使用する。
• 共有エンコーダーが抽出するドメインに依存しない特徴とドメイン固有特徴を組み合わせ、ターゲットドメインの画像を生成する。
• 生成器とエンコーダーを、GAN損失と双方向学習を用いて訓練し、再構成誤差（自己およびクロスドメイン）を最小化する。
• 訓練の安定化のための2つの主要な損失を導入する：画像再構成損失（ℓ_im）とドメイン固有特徴再構成損失（ℓ_α,f）。
• 生成器とエンコーダーとの共同学習の前に、ドメイン分類器（α(·)）を別途事前学習により最適化する。

実験結果

リサーチクエスチョン

• RQ1 明示的なドメイン監視は、ペアのない画像対画像翻訳におけるドメイン固有特徴とドメインに依存しない特徴の分離を改善できるか？
• RQ2 エンドツーエンド学習と比較して、ドメイン分類器の事前学習が特徴の分離にどのように寄与するか？
• RQ3 事前学習済みドメイン固有特徴抽出器は、微調整なしに未学習ドメインに転送可能か？
• RQ4 モデルは、異なるドメインに属する2つの画像を入力として用いても、条件付き翻訳を実行できるか？
• RQ5 明示的なドメイン監視は、暗黙のドメインモデリングと比較して、翻訳品質と分離度において優れているか？

主な発見

• DosGANは、事前学習や重要な損失を欠いたバリアントと比較して、複数のアイデンティティ翻訳で94.01%のトップ1精度を達成し、顕著に優れた性能を示した。
• エッジからシューズへの翻訳では50.0%のFIDスコア、エッジからハンドバッグへの翻訳でも50.0%のFIDスコアを達成し、CycleGAN や DRIT などの非教師ありモデルを上回った。
• 人間の知覚評価 study では、DosGAN はすべての非教師ありベースラインを上回り、78.5%のユーザーがその結果を他のモデルよりも好んだ。
• アブレーション study により、ℓ_im もしくは ℓ_α,f を削除すると分類精度が15%未満に低下することが確認され、安定した分離にこれらの損失が不可欠であることが証明された。
• 事前学習済みドメイン分類器によりゼロショット転送が可能である：Facescrub で学習した特徴抽出器は、追加のドメインラベルなしに CelebA に対しても良好に一般化した。
• DosGAN-c は、任意の2枚の画像（例：エッジマップとリファレンス画像）を入力として用いた条件付き翻訳を実行でき、これは StarGAN では実現できない機能である。