[論文レビュー] Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation

Yawei Luo, Ping Liu+3 more|arXiv (Cornell University)|Apr 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 66

ひとこと要約

本論文は Adversarial Style Mining (ASM) を提案する。これは Random AdaIN スタイル生成器とタスクモデルを統合し、タスクモデルからのフィードバックに導かれて、より難しいターゲット様式を反復的に採掘することで、ワンショットの教師なしドメイン適応を実現するエンドツーエンドのフレームワークである。

ABSTRACT

We aim at the problem named One-Shot Unsupervised Domain Adaptation. Unlike traditional Unsupervised Domain Adaptation, it assumes that only one unlabeled target sample can be available when learning to adapt. This setting is realistic but more challenging, in which conventional adaptation approaches are prone to failure due to the scarce of unlabeled target data. To this end, we propose a novel Adversarial Style Mining approach, which combines the style transfer module and task-specific module into an adversarial manner. Specifically, the style transfer module iteratively searches for harder stylized images around the one-shot target sample according to the current learning state, leading the task model to explore the potential styles that are difficult to solve in the almost unseen target domain, thus boosting the adaptation performance in a data-scarce scenario. The adversarial learning framework makes the style transfer module and task-specific module benefit each other during the competition. Extensive experiments on both cross-domain classification and segmentation benchmarks verify that ASM achieves state-of-the-art adaptation performance under the challenging one-shot setting.

研究の動機と目的

• トレーニング時に単一の unlabeled ターゲットサンプルしか利用できない OSUDA（one-shot unsupervised domain adaptation）問題に対処する。
• モデルがワンショットサンプルを超えるターゲット領域のスタイルを探索し、一般化能力を向上させる。
• スタイル生成とタスク性能を共同最適化する微分可能な対決フレームワークを提案する。
• ASM 内で微分可能なスタイル探索を可能にする新規 Random AdaIN (RAIN) モジュールを導入する。
• ワンショット設定下での分類とセマンティックセグメンテーションにおいて最先端の性能を示す。

提案手法

• ASM を、スタイライズ画像生成器 G とタスク特化モデル M のエンドツーエンドの対抗ループとして形成する。ここで G はアンカーターゲットスタイルに導かれ、Random AdaIN (RAIN) モジュールで拡張される。
• RAIN は AdaIN をスタイル VAE で拡張し、スタイルをエンコード・サンプリング可能にして、スタイル生成を微分可能でエンドツーエンド学習に適したものとする。
• ε というサンプリングベクトルを、ワンショットターゲットから学習したスタイル分布から取り、タスク損失の勾配に基づいて反復的に摂動させ、より難しいスタイルを採掘する。
• M の訓練損失は、スタイライズされたサンプル上のタスク損失と、一貫性損失を組み合わせて構成される。L_M = L_task + λ L_consist。
• スタイル採掘手法は、アンカーターゲット周辺で段階的に難度の高いスタイライズサンプルを生み出すよう、事前定義された深さ n に対して ε を反復的に更新する。
• 訓練はラベル付きのソースデータと、スタイルアンカーとしての単一ターゲットサンプルを使用し、ターゲットラベルを必要としない。

実験結果

リサーチクエスチョン

• RQ1 ワンショットのラベルなしターゲットデータを対向的なスタイル採掘を通じてロバストなドメイン適応モデルの学習に活用できるか。
• RQ2 微分可能なスタイル生成機構（RAIN）は、難度が高く関連性のあるターゲット風味の変化を継続的に提供することで、エンドツーエンド OSUDA を効果的に可能にするか。
• RQ3 ASM は分類とセグメンテーションのベンチマークにおいて、既存の OSUDA およびワンショットスタイル転送法とどのように比較されるか。
• RQ4 訓練中に採掘されたスタイルの安定性特性とスタイル分布の特徴はどのようになるか。

主な発見

方法	#TS	L/UL	M→S	U→S	M→U
Source Only	-	-	20.3	15.3	65.4
DRCN [12]	すべて	UL	40.1	-	91.8
GenToAdapt [37]	すべて	UL	36.4	-	92.5
FADA [32]	10(1/pc)	L	37.7	27.5	85.0
FADA [32]	50(5/pc)	L	46.1	37.9	92.4
CycleGAN [44]	1	UL	28.2	20.7	66.8
MUNIT [19]	1	UL	35.0	26.5	67.4
OST [3]	1	UL	42.5	34.0	74.8
ASM (Ours)	1	UL	46.3	40.3	68.0

• ASM は MNIST-USPS-SVHN のワンショットクロスドメイン分類ベンチマークで最先端の結果を達成し、いくつかのUDAおよびワンショットスタイル転送のベースラインを上回る。
• 分類タスクでは、ASM は M→S で 46.3%、U→S で 40.3%、競合手法をワンショット設定下で上回る。
• セグメンテーションベンチマーク（SYNTHIA/GTA5 と Cityscapes）では、ASM は one-shot の下で複数の DA 手法よりも優れた mean IoU を示し、いくつかの few-shot ベースラインに近づくまたは上回る。
• 従来の（データ豊富な）UDA においても競争力のある性能を維持し、one-shot 制約下での性能低下が小さいことを示し、スタイル採掘の頑健性を示唆する。
• 訓練分析では、M とスタイルベクトル ε の間の対抗ループが安定しており、L_M が小さな値へ収束し、採掘されたスタイルがアンカーターゲットスタイルの周囲にあることを示す。
• 経験的な可視化（t-SNE）は、採掘されたスタイルがアンカースタイルの周囲に、未見だが関連するターゲットスタイルをカバーしていることを示唆する。