[論文レビュー] Improving Adversarial Discriminative Domain Adaptation.

Aaron Chadha, Yiannis Andreopoulos|arXiv (Cornell University)|Sep 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 8

ひとこと要約

本稿では、ADDAを拡張して、拡張された識別器出力によるドメインとタスクの同時分布をモデル化し、MMDおよび再構成損失を組み合わせることで、ターゲット特徴をソース分布に一致させる、新規な敵対的ドメイン適応フレームワークを提案する。この手法は、画像およびニューロモルフィックビジョンデータセットにおいて性能を向上させ、教師なしドメイン適応の分野で最先端の手法を上回る結果を得た。

ABSTRACT

Adversarial discriminative domain adaptation (ADDA) is an efficient framework for unsupervised domain adaptation in image classification, where the source and target domains are assumed to have the same classes, but no labels are available for the target domain. We investigate whether we can improve performance of ADDA with a new framework and new loss formulations. Following the framework of semi-supervised GANs, we first extend the discriminator output over the source classes, in order to model the joint distribution over domain and task. We thus leverage on the distribution over the source encoder posteriors (which is fixed during adversarial training) and propose maximum mean discrepancy (MMD) and reconstruction-based loss functions for aligning the target encoder distribution to the source domain. We compare and provide a comprehensive analysis of how our framework and loss formulations extend over simple multi-class extensions of ADDA and other discriminative variants of semi-supervised GANs. In addition, we introduce various forms of regularization for stabilizing training, including treating the discriminator as a denoising autoencoder and regularizing the target encoder with source examples to reduce overfitting under a contraction mapping (i.e., when the target per-class distributions are contracting during alignment with the source). Finally, we validate our framework on standard domain adaptation datasets, such as SVHN and MNIST. We also examine how our framework benefits recognition problems based on modalities that lack training data, by introducing and evaluating on a neuromorphic vision sensing (NVS) sign language recognition dataset, where the source and target domains constitute emulated and real neuromorphic spike events respectively. Our results on all datasets show that our proposal competes or outperforms the state-of-the-art in unsupervised domain adaptation.

研究の動機と目的

• 教師なしドメイン適応設定（ターゲットドメインのラベルが利用不可）において、敵対的判別的ドメイン適応（ADDA）の性能を向上させること。
• 識別器をソースクラスの出力へ拡張することで、ドメインと分類タスクの同時分布をモデル化すること。
• 最大平均差分（MMD）および再構成ベースの損失を用いて、ターゲットエンコーダーの特徴分布をソースドメインに一致させること。
• 正則化技術（識別器のノイズ除去オートエノードライン学習およびターゲットエンコーダーの収縮写像正則化）を用いて訓練を安定化させること。
• SVHNおよびMNISTといった標準ベンチマークに加え、新規なニューロモルフィックビジョンセンシング（NVS）の手話認識データセットを含む、標準的なベンチマークでフレームワークを評価すること。

提案手法

• ADDAの識別器を拡張し、ソースクラスの出力を得られるようにすることで、ドメインと分類タスクの両方を同時にモデリング可能にする。
• 固定されたソースエンコーダーの事後確率を用いて、MMDおよび再構成ベースの損失を通じてターゲットエンコーダーの一致を導く。
• 識別器にノイズ除去オートエノードラインの目的関数を適用し、ロバストネスと訓練安定性を向上させる。
• ソース例を用いてターゲットエンコーダーに収縮写像正則化を実装することで、分布一致の過程での過学習を低減する。
• 敵対的訓練中にドメインとクラスの識別を同時に最適化できるマルチヘッド識別器を導入する。
• ターゲットエンコーダーがソース例を再構成するのを促進する再構成損失を採用し、ドメイン間の特徴分布を一致させる。

実験結果

リサーチクエスチョン

• RQ1 識別器をドメインとクラスラベルの両方をモデル化できるように拡張することで、ドメイン適応の性能向上が達成できるか？
• RQ2 MMDおよび再構成ベースの損失は、単純な多クラス拡張によるADDAと比較して、ソースドメインとターゲットドメインの特徴をどれほどよく一致させられるか？
• RQ3 識別器のノイズ除去オートエノードライン学習が、モデルの安定性と性能に与える影響は何か？
• RQ4 収縮写像正則化は、ドメイン一致の過程でターゲットエンコーダーの過学習を低減できるか？
• RQ5 提案されたフレームワークは、ニューロモルフィックビジョンセンシングのような低リソース認識タスクにも一般化可能か？

主な発見

• 提案されたフレームワークは、SVHNおよびMNISTを含む標準的なドメイン適応ベンチマークで、最先端または競争力のある性能を達成した。
• MMDおよび再構成損失の使用により、単純な多クラス拡張によるADDAと比較して、ターゲット特徴がソースドメインによりよく一致した。
• 識別器のノイズ除去オートエノードライン学習により、一般化性能が向上し、訓練の不安定性が低減した。
• 収縮写像正則化は、特にターゲットドメインデータが限られている場合に、ターゲットエンコーダーの過学習を効果的に低減した。
• フレームワークは低データモダリティへの一般化が強く、実際の訓練データが存在しないニューロモルフィックビジョンセンシング（NVS）の手話認識データセットにおいても優れた性能を示した。
• 実験的結果から、複数の評価指標において一貫した向上が確認され、共同ドメインタスクモデリングおよび損失設計の有効性が裏付けられた。