[論文レビュー] Generalizing Across Domains via Cross-Gradient Training

Shiv Shankar, Vihari Piratla+4 more|arXiv (Cornell University)|Apr 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 268

ひとこと要約

CrossGrad は、ドメイン指向の入力摂動と結合したラベル・ドメイン訓練により、ターゲットドメインデータや明示的なドメイン特徴量がなくても未見のドメインへ分類器を一般化します。複数のタスクで、ドメイン adversarial および一般的な摂動法を上回ります。

ABSTRACT

We present CROSSGRAD, a method to use multi-domain training data to learn a classifier that generalizes to new domains. CROSSGRAD does not need an adaptation phase via labeled or unlabeled data, or domain features in the new domain. Most existing domain adaptation methods attempt to erase domain signals using techniques like domain adversarial training. In contrast, CROSSGRAD is free to use domain signals for predicting labels, if it can prevent overfitting on training domains. We conceptualize the task in a Bayesian setting, in which a sampling step is implemented as data augmentation, based on domain-guided perturbations of input instances. CROSSGRAD parallelly trains a label and a domain classifier on examples perturbed by loss gradients of each other's objectives. This enables us to directly perturb inputs, without separating and re-mixing domain signals while making various distributional assumptions. Empirical evaluation on three different applications where this setting is natural establishes that (1) domain-guided perturbation provides consistently better generalization to unseen domains, compared to generic instance perturbation methods, and that (2) data augmentation is a more stable and accurate method than domain adversarial training.

研究の動機と目的

• ターゲットドメイン適応なしで未見のドメインへ一般化するため、多ドメインデータからの学習を動機づける。
• ドメイン損失勾配に沿って入力を摂動する、ドメイン指向データ拡張法を提案する。
• トレーニングドメインへの過剰適合を避けつつ、ドメイン内予測に有用なドメイン信号を保持する。
• 手書き、フォント認識、MNIST 回転、音声語タスクにわたる実証的な一般化の向上を示す。

提案手法

• 潜在ドメイン特徴 g を介して、入力 x がラベル y およびドメイン d の影響を受けるモデル。
• 連続的なドメイン特徴 g を x から抽出し d を予測するために、ドメイン分類器 G を使用する。
• ドメイン損失勾配の方向に x を摂動させ、異なるドメイン特性を持つ拡張サンプルを生成する。
• クロス摂動データでラベル分類器とドメイン分類器を訓練し、トレーニングドメインへの過剰適合を防ぐ。
• J_l (ラベル) と J_d (ドメイン) の二つの目的関数のクロス勾配を用いた交互更新として訓練を定式化する。
• トレーニングは Baseline、DAN、LabelGrad と比較して four datasets with disjoint train/test domains の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 CrossGrad は explicit target-domain data やドメイン特徴量がなくても未見のドメインへ一般化できるか。
• RQ2 ドメイン指向摂動は、一般的な摂動やドメイン対立的アプローチよりも良い一般化をもたらすか。
• RQ3 フォント/手書き認識、MNIST の回転、音声コマンドなど、さまざまなタスクとアーキテクチャにおいて CrossGrad はどう機能するか。
• RQ4 どのような学習条件（ドメイン数）で CrossGrad が最も効果的か。

主な発見

手法名	Fonts	Handwriting	MNIST	音声
Baseline	68.5	82.5	95.6	72.6
DAN	68.9	83.8	98.0	70.4
LabelGrad	71.4	86.3	97.8	72.7
CrossGrad	72.6	88.6	98.6	73.5

• CrossGrad は、4つのデータセットすべてで Baseline、DAN、LabelGrad より精度を改善する。
• Fonts、Handwriting、MNIST、Speech で、それぞれ 72.6、88.6、98.6、73.5 の精度を達成（Baseline の 68.5、82.5、95.6、72.6 に対して）。
• CrossGrad は、Fonts と Handwriting では異なるアーキテクチャ（LeNet と ResNet）間でも利得を維持する。
• トレーニングドメイン数が少ないと CrossGrad の性能向上が大きく、ドメインカバレッジが増えるにつれて減少する。
• ドメイン対立的ネットワーク（DAN）は不安定な利得をもたらし、これらの設定で調整が難しい。
• LabelGrad は有用だが一般に CrossGrad より小さな改善しかもたらさず、ドメインの多様性が増すと効果が低下する。