[論文レビュー] A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation

Alexander H. Liu, Yen‐Cheng Liu+2 more|arXiv (Cornell University)|Sep 5, 2018

Digital Media Forensic Detection参考文献 28被引用数 91

ひとこと要約

統一特徴分離ネットワーク（UFDN）は、複数のドメインに跨るドメイン不変の潜在空間を学習し、対向訓練とドメイン分離によってマルチドメインの画像翻訳・操作と教師なしドメイン適応を可能にする。

ABSTRACT

We present a novel and unified deep learning framework which is capable of learning domain-invariant representation from data across multiple domains. Realized by adversarial training with additional ability to exploit domain-specific information, the proposed network is able to perform continuous cross-domain image translation and manipulation, and produces desirable output images accordingly. In addition, the resulting feature representation exhibits superior performance of unsupervised domain adaptation, which also verifies the effectiveness of the proposed model in learning disentangled features for describing cross-domain data.

研究の動機と目的

• 複数のデータドメインに跨るドメイン不変表現の学習を動機づける。
• 潜在特徴からドメイン情報を分離するコンパクトなエンコーダ–ジェネレータフレームワークを開発する。
• 単一の統一モデル内で連続的なマルチドメイン画像翻訳と操作を可能にする。
• 学習された表現を用いた教師なしドメイン適応の性能向上を実証する。

提案手法

• ドメイン c から入力画像 x_c を潜在 z に写像するエンコーダ E を用いる。
• ドメイン情報を、ドメインベクトル v_c と z から v_c を予測する敵対的ドメイン分類器 D_v を用いて分離する。
• z と v に条件づけされたジェネレータ G を通じて画像を再構成・翻訳し、x̂_c と x̂_{f{c}} を得る。
• 生成画像のリアルさとドメイン予測性を保証するために、画像空間識別器 D_x を用いる。
• L_vae, L_Dv^{adv}, L_E^{adv}, L_G^{adv}, および L_cls（ドメイン分類）を含む敵対的・再構成損失で E, G, D_v, D_x を訓練する。
• ドメインベクトル v を変化させ、必要に応じて z をサンプリングして未見の画像を生成することで、連続的なクロスドメイン翻訳を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一の統一モデルは、翻訳と操作に適した複数ドメインに跨るドメイン不変表現を学習できるか。
• RQ2 潜在空間での敵対的分離とピクセル空間の敵対的学習を組み合わせることで、ペアデータなしで高品質なマルチドメイン翻訳を実現できるか。
• RQ3 学習されたドメイン不変特徴は、ドメイン間の分類のための教師なしドメイン適応を支援できるか。
• RQ4 ドメインベクトルの補間や変化によって連続的なマルチドメイン翻訳が実現可能か。

主な発見

Method	Dataset/Task	Metric	Value	Notes
Sketch→Photo (Translation)	E-CDRD	SSIM	0.6229	-
Sketch→Photo	E-CDRD	MSE	0.0207	-
Sketch→Photo	E-CDRD	PSNR	16.86	-
Sketch→Photo	StarGAN	SSIM	0.8026	-
Sketch→Photo	StarGAN	MSE	0.0142	-
Sketch→Photo	StarGAN	PSNR	19.04	-
Sketch→Photo	UFDN (Ours)	SSIM	0.8222	-
Sketch→Photo	UFDN (Ours)	MSE	0.0106	-
Sketch→Photo	UFDN (Ours)	PSNR	20.24	-
Paint→Photo	E-CDRD	SSIM	0.5892	-
Paint→Photo	E-CDRD	MSE	0.0174	-
Paint→Photo	E-CDRD	PSNR	17.61	-
Paint→Photo	StarGAN	SSIM	0.8496	-
Paint→Photo	StarGAN	MSE	0.0060	-
Paint→Photo	StarGAN	PSNR	22.53	-
Paint→Photo	UFDN (Ours)	SSIM	0.8798	-
Paint→Photo	UFDN (Ours)	MSE	0.0033	-
Paint→Photo	UFDN (Ours)	PSNR	25.06	-

• UFDN は、ペアデータを必要とせず、2つを超えるドメイン（例：スケッチ、写真、絵画）に跨るマルチドメイン画像翻訳を実現する。
• 定量的翻訳結果は、顔データにおいて、Sketch→Photo の SSIM 0.8222、MSE 0.0106、PSNR 20.24 のようにE-CDRDを上回り、StarGANと一致することを示す：Paint→Photo SSIM 0.8798、MSE 0.0033、PSNR 25.06。
• 数字データにおける教師なしドメイン適応では、UFDNは最先端または競合的な精度を達成：MNIST→USPS 97.13%、USPS→MNIST 93.77%、SVHN→MNIST 95.01%。
• t-SNE の可視化は、ドメインではなく数字クラスでクラスタリングされる、ドメイン不変表現を示唆している。
• アブレーション研究は、自己 supervise の特徴分離（D_v によるドメイン不変な z）とピクセル空間の敵対学習（D_x）の双方が、効果的なドメイン分離と翻訳には必要であることを確認する。