[論文レビュー] Unsupervised Multi-Domain Image Translation with Domain-Specific Encoders/Decoders

Le Hui, Xiang Li+4 more|arXiv (Cornell University)|Dec 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 7

ひとこと要約

この論文では、$n$ 個のドメイン固有のエンコーダー/デコーダーとグローバルに共有される自己符号化器を組み合わせることで、モデルパラメータと学習時間の複雑性を $O(n)$ に抑える、新しい非教師あり多ドメイン画像変換フレームワークである Domain-Bank を提案する。これにより、従来の方法が負担を負う $O(n^2)$ の複雑性を軽減する。本フレームワークは、複数のドメイン間での効率的かつスケーラブルな変換を可能にし、新しいドメインのインクリメンタル学習をサポートし、線形なスタイル融合を実現する。顔、ファッション、スタイル変換ベンチマークおよびドメイン適応タスクにおいて、最先端の性能を達成する。

ABSTRACT

Unsupervised Image-to-Image Translation achieves spectacularly advanced developments nowadays. However, recent approaches mainly focus on one model with two domains, which may face heavy burdens with large cost of $O(n^2)$ training time and model parameters, under such a requirement that $n$ domains are freely transferred to each other in a general setting. To address this problem, we propose a novel and unified framework named Domain-Bank, which consists of a global shared auto-encoder and $n$ domain-specific encoders/decoders, assuming that a universal shared-latent sapce can be projected. Thus, we yield $O(n)$ complexity in model parameters along with a huge reduction of the time budgets. Besides the high efficiency, we show the comparable (or even better) image translation results over state-of-the-arts on various challenging unsupervised image translation tasks, including face image translation, fashion-clothes translation and painting style translation. We also apply the proposed framework to domain adaptation and achieve state-of-the-art performance on digit benchmark datasets. Further, thanks to the explicit representation of the domain-specific decoders as well as the universal shared-latent space, it also enables us to conduct incremental learning to add a new domain encoder/decoder. Linear combination of different domains' representations is also obtained by fusing the corresponding decoders.

研究の動機と目的

• ドメイン数の増加に伴い二乗的に増加する計算コストとパラメータコストを負う既存の非教師あり画像間変換モデルの課題を解決すること。
• すべての $n$ ドメインに共通するグローバルに共有される潜在空間を導入することで、効率的かつスケーラブルな多ドメイン変換を実現すること。
• 全モデルの再学習なしに新しいドメインを追加するためのインクリメンタル学習をサポートすること。
• ドメイン固有のデコーダーの線形結合により、柔軟なスタイル融合を可能にすること。
• 多ドメイン画像変換およびドメイン適応タスクにおいて、最先端の性能を達成すること。

提案手法

• フレームワークは、すべてのドメイン固有エンコーダーが画像を普遍的な共有潜在空間にマップするという共有潜在空間の仮定を採用する。
• ドメイン固有エンコーダーの最終層とドメイン固有デコーダーの最初の層に重み共有制約を適用することで、共有潜在空間を強制する。
• モデルは $n$ 個のコンポーネントバンクから構成され、それぞれがドメイン固有エンコーダー $E_i$、デコーダー $G_i$、敵対的学習用のディスクリミネータ $D_i$ を有する。
• 学習損失には、VAE再構成損失、GAN損失、サイクル整合性損失を組み合わせるが、ドメイン適応の実験ではサイクル整合性ストリームを削除する。
• インクリメンタル学習では、他の部品は固定したまま、新しいドメイン用のエンコーダー/デコーダーとディスクリミネータのみを更新する。
• スタイル融合では、ターゲットデコーダーを線形結合して $G^* = \lambda G_1 + (1-\lambda)G_2$ とし、ハイブリッドスタイルの出力を生成する。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークにより、$O(n^2)$ ではなく $O(n)$ の複雑性で多ドメイン画像変換を実現できるか？
• RQ2 共有潜在空間が多様なドメイン分布を効果的に表現しつつ、高品質な画像変換を可能にするか？
• RQ3 全モデルの再学習なしに、新しいドメインのインクリメンタル学習をサポートできるか？
• RQ4 ドメイン固有デコーダーの線形結合により、制御可能なスタイル融合が可能か？
• RQ5 本フレームワークは、多ドメイン変換およびドメイン適応タスクにおいて最先端の性能を達成するか？

主な発見

• 提案された Domain-Bank フレームワークにより、モデルパラメータと学習時間の複雑性が $O(n^2)$ から $O(n)$ に削減され、スケーラブルな多ドメイン変換が可能になった。
• SVHN→MNIST のドメイン適応タスクにおいて、分類精度が 0.9146% を達成し、UNIT の 0.9053% を上回った。
• MNIST→USPS では、0.9645% の精度を達成し、UNIT の 0.9597% を上回った。
• USPS→MNIST では、0.9412% の精度を達成し、UNIT の 0.9358% を上回った。
• インクリメンタル学習により、新しいドメインを追加する際、新しいコンponent のパラメータのみを更新し、既存ドメインの性能を維持できた。
• デコーダーの線形結合により、$\lambda$ の値を変化させた場合の段階的スタイル融合が可能であり、図8に可視化されている。