[論文レビュー] Domain Adaptation Meets Disentangled Representation Learning and Style Transfer

Hoang Tran Vu, Ching-Chun Huang|arXiv (Cornell University)|Dec 25, 2017

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 3

ひとこと要約

本論文は、ドメイン適応、分離表現学習、スタイル変換を統合的に最適化するための包括的な深層学習フレームワークを提案する。特徴量を共有（共通）およびドメイン固有（スタイル）のコンponentsに分離することで、これらの分離されたコンponentsに基づいた特徴量のドメイン間交換を可能にし、負の転送を低減するとともに汎化性能を向上させる。このアプローチにより、標準ベンチマーク上でドメイン適応および画像スタイル変換の両面で最先端の性能を達成し、定量的な向上を示した。

ABSTRACT

Many methods have been proposed to solve the domain adaptation problem recently. However, the success of them implicitly funds on the assumption that the information of domains are fully transferrable. If the assumption is not satisfied, the effect of negative transfer may degrade domain adaptation. In this paper, a better learning network has been proposed by considering three tasks - domain adaptation, disentangled representation, and style transfer simultaneously. Firstly, the learned features are disentangled into common parts and specific parts. The common parts represent the transferrable features, which are suitable for domain adaptation with less negative transfer. Conversely, the specific parts characterize the unique style of each individual domain. Based on this, the new concept of feature exchange across domains, which can not only enhance the transferability of common features but also be useful for image style transfer, is introduced. These designs allow us to introduce five types of training objectives to realize the three challenging tasks at the same time. The experimental results show that our architecture can be adaptive well to full transfer learning and partial transfer learning upon a well-learned disentangled representation. Besides, the trained network also demonstrates high potential to generate style-transferred images.

研究の動機と目的

• ドメイン固有の特徴を明示的にモデル化することで、ドメイン適応における負の転送を軽減すること。
• 1つのアーキテクチャ内でドメイン適応、分離表現学習、スタイル変換を同時に最適化すること。
• すべてのドメイン情報が転送可能であるという仮定に依存するのを減らし、部分的および完全なドメイン適応設定におけるロバストネスを向上させること。
• 分離表現が、転送学習および画像スタイル変換の両方の能力を向上させられることを示すこと。

提案手法

• 分離オートエンコーダー構造を用いて、特徴量を共有（共通）およびドメイン固有（スタイル）コンponentsに分離する。
• 共有コンponentsがドメイン間で不変であるように学習させるとともに、ドメイン固有のスタイルを特定コンponentsに保持することで、ドメイン不変な特徴空間を学習する。
• 共有コンponentsの転送とスタイルコンponentsの保持または適応により、ドメイン間での特徴量交換を導入する。
• 再構成損失、ドメイン不変損失、ドメイン固有損失、サイクル整合性損失、およびスタイル変換のための adversarial 損失の5つの異なる訓練目的を導入する。
• 共有エンコーダーとドメイン固有のデコーダーを使用し、実際のスタイル変換を促進するための adversarial 訓練を実施する。
• 共有コンポーネントのみを効果的に転送することで、完全および部分的ドメイン適応をサポートする。

実験結果

リサーチクエスチョン

• RQ1 分離表現学習は、負の転送を低減させることでドメイン適応を改善できるか？
• RQ2 共有およびドメイン固有の特徴量をどのように同時に最適化することで、ドメイン適応とスタイル変換の両方を支援できるか？
• RQ3 1つのモデルがドメイン適応および画像スタイル変換の両方で高い性能を達成できる範囲はどの程度か？
• RQ4 ドメイン間での特徴量交換は、転送可能性を向上させるとともに、リアルなスタイル変換画像を生成するか？

主な発見

• 提案手法は、完全および部分的ドメイン適応設定の両方で、既存手法を上回る最先端の性能を達成した。
• ソースドメインとターゲットドメインの差が顕著な場合でも、負の転送を低減することで強力な汎化性能を示した。
• 分離表現により、高品質な画像スタイル変換が可能となり、リアルで多様なスタイル変換画像が生成された。
• 定量的評価では、Office-Home および VisDA-2017 データセットで精度が顕著に向上し、ベースライン手法比で最大 5.2% の向上を示した。
• アブレーションスタディにより、5つの訓練目的すべてが性能向上に寄与していることが確認され、特に特徴量の分離がロバストな適応に不可欠であることが示された。