[論文レビュー] Learning Cross-Domain Disentangled Deep Representation with Supervision from A Single Domain.

Tzu-Chien Fu, Yen‐Cheng Liu+3 more|arXiv (Cornell University)|May 3, 2017

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 10

ひとこと要約

この論文は、単一のソースドメインからの属性レベルの監督のみを用いて、ドメイン間の分離可能な表現を学習するGANベースの深層生成モデルを提案する。特徴の分離と非教師付きドメイン変換を同時に実行することで、ターゲットドメインのアノテーションを一切必要とせず、特定の属性を持つ画像の生成と分類が可能になる。

ABSTRACT

The recent progress and development of deep generative models have led to remark- able improvements in research topics in computer vision and machine learning. In this paper, we address the task of cross-domain feature disentanglement. We advance the idea of unsupervised domain adaptation and propose to perform joint feature disentanglement and adaptation. Based on generative adversarial networks, we present a novel deep learning architecture with disentanglement ability, which observes cross-domain image data and derives latent features with the underly- ing factors (e.g., attributes). As a result, our generative model is able to address cross-domain feature disentanglement with only the (attribute) supervision from the source-domain data (not the target-domain ones). In the experiments, we apply our model for generating and classifying images with particular attributes, and show that satisfactory results can be produced.

研究の動機と目的

• ターゲットドメインのアノテーションが存在しない状況でのドメイン間特徴の分離を解決すること。
• 分離を学習プロセスに統合することで、非教師付きドメイン変換を進展させること。
• ソースドメインの監督のみを用いて、ドメイン間で特定の属性を持つ画像の生成と分類を可能にすること。
• ドメイン間の画像データにおける潜在要因（例：属性）を分離する深層生成アーキテクチャを開発すること。

提案手法

• 分離とドメイン変換の両方を最適化する生成対抗ネットワーク（GAN）フレームワークを設計する。
• 分離された潜在要因の学習をガイドするために、ソースドメインからの属性レベルの監督のみを用いる。
• 画像特徴をドメイン不変要因とドメイン特異的要因に分解することで、分離された表現を学習する。
• 生成的損失と再構成損失を用いて、属性の意味を保持するように、エンドツーエンドでモデルを訓練する。
• 潜在空間における潜在的属性の分離を促進するための分離損失を適用する。
• 分離された表現を活用して、ターゲットドメインにおける生成と分類のためのゼロショット属性転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインの属性監視のみを用いて、ドメイン間で分離可能な表現を学習できるか？
• RQ2 ターゲットドメインのアノテーションが一切ない状況でも、特定の属性を持つ画像をどれほどうまく生成できるか？
• RQ3 分離された表現が、ターゲットドメインにおける未学習属性の分類性能をどの程度向上させるか？
• RQ4 分離と変換を統合したメカニズムは、ドメイン固有の特徴を整列させつつ、属性の意味を保持するのにどの程度効果的か？

主な発見

• モデルは、ソースドメインの属性アノテーションのみを用いて、ドメイン間で分離可能な表現を成功裏に学習した。
• ターゲットドメインの監督が一切ない状況でも、特定の属性を持つ画像の生成において優れた性能を達成した。
• 分離された表現により、ターゲットドメインにおける未学習属性の正確なゼロショット分類が可能になった。
• ベースライン手法と比較して、分離と変換を統合したフレームワークは、一般化性能と属性転送の両面で優れた効果を示した。