[論文レビュー] Unsupervised Cross-Domain Image Generation

Yaniv Taigman, Adam Polyak+1 more|arXiv (Cornell University)|Nov 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 428

ひとこと要約

論文は、Domain Transfer Network (DTN) を導入します。これは、学習済みの g を固定の f と組み合わせて S からターゲット領域 T へサンプルをマッピングする教師なし法で、マルチクラス GAN 損失、f-不変性、自己同一性正則化を用い、数字と顔のデータでクロスドメイン画像を説得力のある形で生成しつつアイデンティティを保持することを示します。

ABSTRACT

We study the problem of transferring a sample in one domain to an analog sample in another domain. Given two related domains, S and T, we would like to learn a generative function G that maps an input sample from S to the domain T, such that the output of a given function f, which accepts inputs in either domains, would remain unchanged. Other than the function f, the training data is unsupervised and consist of a set of samples from each domain. The Domain Transfer Network (DTN) we present employs a compound loss function that includes a multiclass GAN loss, an f-constancy component, and a regularizing component that encourages G to map samples from T to themselves. We apply our method to visual domains including digits and face images and demonstrate its ability to generate convincing novel images of previously unseen entities, while preserving their identity.

研究の動機と目的

• ソース領域 S から関連するターゲット領域 T へ、監視付きペアなしでサンプルを転送する手法を開発する。
• ターゲット領域の出力が、与えられたネットワーク f によって符号化された機能的アイデンティティを保持することを保証する。
• learnable g を固定表現 f と組み合わせて f に関連する特徴に焦点を当てる設計を促進する。
• 数字と顔から絵文字への翻訳で手法を実演し、その構成要素と限界を分析する。

提案手法

• f は固定の特徴抽出子で、g が f(x) をターゲット領域表現へ写像する二部構成の生成器 G = g ∘ f を用いる。
• S および T の実データサンプルを含むターゲット領域の実サンプルと生成サンプルを区別するマルチクラス GAN 損失で訓練する。
• x ∈ S に対して ||f(x) − f(G(x))|| を最小化する f-不変性損失を追加する。
• G が T のサンプル上で恒等であることを奨励するターゲット同一性正則化項 L_TID を含める。
• 生成画像を滑らかにするための全変動損失 L_TV を組み込む。
• D が損失を最小化し、G が対応する複合損失を最小化する交互更新方式で最適化する。

実験結果

リサーチクエスチョン

• RQ1 S と T からの教師なしサンプルを学習済みの G によってマッピングすることで、下流の関数 f が不変な出力を生むか：f(x) ≈ f(G(x))？
• RQ2 G を固定の f と組み合わせ、マルチクラス GAN 損失を用いることが、ベースライン設定よりクロスドメイン転送を改善するか？
• RQ3 DTN は視覚的に離れたドメインペア（例：SVHN→MNIST、実顔→絵文字）でどれくらいうまく機能するか？
• RQ4 各損失項（f-constancy、L_TID、TV、GAN）が転送品質に及ぼす影響はどの程度か？
• RQ5 DTN は教師なしドメイン適応やスタイル変換（DTN フレームワーク内のスタイル転送のような）を促進できるか？

主な発見

Table	Metric/Aspect	Value(s)
Table 1	Digit transfer (SVHN→MNIST) accuracy on MNIST classifier	Baseline method (Sec. 3) 13.71%; DTN 90.66%; DTN w/0 L_TID 88.40%; DTN w/0 L_CONST 74.55%; DTN G does not contain f 36.90%; DTN w/0 L_D and L_GANG 34.70%; DTN w/0 L_CONST & L_TID 5.28%; Original SVHN image 40.06%
Table 2	Domain adaptation / MNIST target	SA Fernando et al. 2013 59.32%; DANN Ganin et al. 2016 73.85%; DTN train s 84.44%; DTN test 79.72%
Table 3	Digit ‘3’ ablation (accuracy on MNIST for transferred SVHN examples labeled ‘3’)	DTN 94.67%; ‘3’ not shown in s 93.33%; ‘3’ not shown in t 40.13%; not shown in s&t 60.02%; not shown in s,t, and f trained 4.52%
Table 4	Face retrieval / CelebA-based emoji	Median rank Manual 16311; Emoji by DTN 16; Mean rank 27992.34 vs 535.47; Rank-1 0% vs 22.88%; Rank-5 0% vs 34.75%

• DTN は、G が S 上で直接動作するベースラインより高いクロスドメイン転送精度を達成する。例えば、MNIST 分類器の SVHN→MNIST に対する転送精度は 90.66% に達し、ベースラインの 13.71% を大きく上回る。
• DTN は教師なしのドメイン適応を競合的または優位に可能にする。SVHN の転送テストセットにおける MNIST 分類器精度は DTN で 79.72%、DANN で 73.85%、SAFER ベースラインで 59.32%。
• L_CONST を除く、または L_TID を除くと性能が低下する。特に L_CONST は重要で、L_CONST なしの DTN は 74.55% へ低下し、L_CONST および L_TID なしでは digits 実験で 5.28% に低下する。
• 顔への適用時、DTN は手作成の絵文字よりも識別性の高い絵文字を生成し、検索の中央値ランクは manual の 16311 に対し DTN は 16、平均ランクは 27992.34 対 535.47、Rank-1 は manual の 0% 対 22.88%。
• DTN はスタイル転送をドメイン転送の特別なケースとして実行でき、写真から絵文字風の出力を生成し、単一の画像から顔へのスタイル転送にも使用可能。
• DTN は f によって捉えられたアイデンティティ情報を保持しつつ、 unseen なエンティティの新規サンプルを説得力をもって生成する能力を示す。
• unseen-class アブレーションは、s または f の訓練データに存在しないターゲット領域の欠如クラスを回避するモデルの堅牢性を示している。