[論文レビュー] Adversarial Dropout Regularization

Kuniaki Saito, Yoshitaka Ushiku+2 more|arXiv (Cornell University)|Nov 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 50

ひとこと要約

ADR は dropout を用いた敵対的クリティックを導入し、unsupervised domain adaptation の境界を意識した特徴整合を強化し、分類とセマンティック分割タスクでターゲット特徴の識別性を向上させ、半教師付き GAN 訓練を可能にする。

ABSTRACT

We present a method for transferring neural representations from label-rich source domains to unlabeled target domains. Recent adversarial methods proposed for this task learn to align features across domains by fooling a special domain critic network. However, a drawback of this approach is that the critic simply labels the generated features as in-domain or not, without considering the boundaries between classes. This can lead to ambiguous features being generated near class boundaries, reducing target classification accuracy. We propose a novel approach, Adversarial Dropout Regularization (ADR), to encourage the generator to output more discriminative features for the target domain. Our key idea is to replace the critic with one that detects non-discriminative features, using dropout on the classifier network. The generator then learns to avoid these areas of the feature space and thus creates better features. We apply our ADR approach to the problem of unsupervised domain adaptation for image classification and semantic segmentation tasks, and demonstrate significant improvement over the state of the art. We also show that our approach can be used to train Generative Adversarial Networks for semi-supervised learning.

研究の動機と目的

• ラベル付きソースドメインからラベルなしターゲットドメインへのニューラル表現の転移を動機づける。
• アラインメント中にクラス境界を無視する従来のドメインクリティックの限界に対処する。
• 境界を意識した adversarial dropout によってターゲット特徴をより識別的にする ADR を開発する。
• ADR の適用範囲をドメイン適応だけでなく半教師あり学習と GANs へ拡張する。

提案手法

• ドメインクリティックを C という分類器に置き換え、 dropout によって分類器と境界感知クリティックの両方として機能させる。
• 2つの dropout によって誘発された分類器 C1 と C2 を用いて p(y|x) の境界摂動に対する感度を測定し、ターゲットサンプルではこの感度を最大化し、生成器出力では最小化する。
• G (特徴量生成器) を、ターゲットデータにおける dropout 感度を最小化することで、決定境界から遠く離れたターゲット特徴を生成するよう訓練する。
• C をターゲットの感度を最大化しつつ、ソースデータ上の識別力を維持するよう訓練し、ソース監督項を使用する。
• ターゲット特徴のクラス分布を均一化させるため、条件付きエントロピー項を組み込む。
• G によって C を欺く画像を生成させつつ、実データのラベルなしデータと生成データを整列させることで ADR を半教師付き GAN 設定へ拡張する。）

実験結果

リサーチクエスチョン

• RQ1 ターゲットラベルなしで、 dropout に基づく境界感知クリティックはソースとターゲットの特徴の整合を改善できるか？
• RQ2 ターゲットサンプルにおける dropout 摂動に対する感度を最大化することは、境界のない識別的なターゲット表現につながるか？
• RQ3 ドメインシフト下で ADR は画像分類とセマンティックセグメンテーションの両方で有効か？
• RQ4 生成データを実データに似せつつ決定境界から離すことで、 ADR は半教師付き GAN 訓練を強化できるか？

主な発見

• ADR は従来の分布マッチング法と比較して、数字データセット（MNIST/SVHN/USPS）および画像セグメンテーションタスクにおける無 supervision domain adaptation を改善する。
• SVHN から MNIST への場合、ADR は報告された実験で従来手法より著しく良い精度を達成した。
• ADR はターゲットエントロピーを低減し、ターゲットサンプルを決定境界から遠ざける一方で、境界感度を持たない派生分類器 C′ は競争力を維持する。
• ResNet101 および ResNeXt のファインチューニングにおいて VisDA2017 分類（synthetic to real）で最先端の結果を ADR が達成。
• セグメンテーション（GTA5 to Cityscapes）では、ADR が source-only および競合法より mean IoU を改善。
• ADR は半教師付き学習のための GAN 訓練にも用いることができ、SVHN と CIFAR-10 で競争力のある結果を達成。