[論文レビュー] Data Augmentation with norm-VAE for Unsupervised Domain Adaptation

Qian Wang, Fanlin Meng+1 more|arXiv (Cornell University)|Dec 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 7

ひとこと要約

本稿では、高次元特徴空間におけるデータ拡張のための新しい生成モデルであるnorm-VAEと、選択的疑似ラベル付け（naive-SPL）を用いた、非教師ありドメイン適応（UDA）の新手法を提案する。ソースラベル付きデータとターゲット疑似ラベル付きデータを統合的に学習する分類器を訓練し、さらにnorm-VAEが生成する合成ターゲット特徴を強化することで、Office-Caltechで93.4%、ImageCLEF-DAで90.4%の平均精度という最先端性能を達成した。

ABSTRACT

We address the Unsupervised Domain Adaptation (UDA) problem in image classification from a new perspective. In contrast to most existing works which either align the data distributions or learn domain-invariant features, we directly learn a unified classifier for both domains within a high-dimensional homogeneous feature space without explicit domain adaptation. To this end, we employ the effective Selective Pseudo-Labelling (SPL) techniques to take advantage of the unlabelled samples in the target domain. Surprisingly, data distribution discrepancy across the source and target domains can be well handled by a computationally simple classifier (e.g., a shallow Multi-Layer Perceptron) trained in the original feature space. Besides, we propose a novel generative model norm-VAE to generate synthetic features for the target domain as a data augmentation strategy to enhance classifier training. Experimental results on several benchmark datasets demonstrate the pseudo-labelling strategy itself can lead to comparable performance to many state-of-the-art methods whilst the use of norm-VAE for feature augmentation can further improve the performance in most cases. As a result, our proposed methods (i.e. naive-SPL and norm-VAE-SPL) can achieve new state-of-the-art performance with the average accuracy of 93.4% and 90.4% on Office-Caltech and ImageCLEF-DA datasets, and comparable performance on Digits, Office31 and Office-Home datasets with the average accuracy of 97.2%, 87.6% and 67.9% respectively.

研究の動機と目的

• 明示的なドメインアライメントやドメイン不変特徴学習を伴わない非教師ありドメイン適応（UDA）を解決すること。
• 分布シフトが生じても、高次元特徴空間における統合的分類器がドメインを跨いで一般化できるかどうかを調査すること。
• アーキテクチャの複雑さを最小限に抑えた状態で、選択的疑似ラベル付け（SPL）がUDA性能をどれほど向上させるかを評価すること。
• クラスおよびドメインに特徴的な合成特徴を生成できるように設計された、新しい生成モデルであるnorm-VAEを考案すること。
• 複雑なドメイン適応モジュールを用いずに、合成特徴によるデータ拡張がUDA性能を顕著に向上させることを実証すること。

提案手法

• ソースで学習された分類器の高信頼度予測を用いて、未ラベルのターゲットサンプルに疑似ラベルを割り当てる選択的疑似ラベル付け戦略であるnaive-SPLを提案する。
• 潜在空間における平均および分散パラメータにL2正規化を施したバリアントとして、KLD正則化を置き換えるnorm-VAEを導入する。
• ドメインに依存するデコーダーを用いることで、生成された合成特徴がドメイン固有かつクラス判別可能であるようにする。
• 実際のソースデータと疑似ラベル付きターゲットデータの組み合わせに加え、norm-VAEから得られる合成ターゲット特徴を用いて、統合的分類器（例：浅いMLPまたはCNN）を学習する。
• 複数の学習イテレーション（T=5–10）にわたり疑似ラベル付けを繰り返し改善する手法を採用し、ハイパーパrameter選択に対して頑健であることを示した。
• t-SNEを用いて生成された特徴を可視化し、合成サンプルがソースおよびターゲットドメインの両方で実データのクラスタと整合していることを検証した。

実験結果

リサーチクエスチョン

• RQ1 明示的なドメインアライメントやドメイン不変特徴学習を伴わない高次元特徴空間で学習された単純な統合的分類器が、強力なUDA性能を達成できるか？
• RQ2 未ラベルのターゲットデータに直接適用された選択的疑似ラベル付け（SPL）が、UDA性能をどれほど向上させるか？
• RQ3 norm-VAEのような新しい生成モデルが、UDAにおける分類器の一般化能力を向上させる合成特徴を生成できるか？
• RQ4 norm-VAEが生成する特徴によるデータ拡張が、多様なUDAベンチマークデータセットで一貫した性能向上をもたらすか？
• RQ5 本手法は、疑似ラベル付けイテレーション数などのハイパーパrameterに対してどれほど感度を示すか？

主な発見

• naive-SPL手法は、Office-Caltechで93.4%、ImageCLEF-DAで90.4%のSOTA平均精度を達成し、多数の複雑なドメイン適応手法を上回った。
• norm-VAE-SPL手法は、Office-Caltech、Office31、ImageCLEF-DA、Office-Homeそれぞれで0.6%、1.7%、1.0%、2.2%の性能向上を示し、合成データ拡張による一貫した向上を実証した。
• Digitsデータセットでは、画像分類に浅い2層MLPを用いても97.2%の平均精度を達成し、SOTA手法と同等の性能を示した。
• naive-SPLおよびnorm-VAE-SPLの両手法において、疑似ラベル付けイテレーション数の変更に対して頑健であり、T > 5の範囲で劣化が最小限に抑えられた。
• t-SNE可視化により、norm-VAEが生成する合成特徴が、ソースおよびターゲットドメインの両方で実データのクラスタと整合するクラス判別可能なクラスタを形成していることが確認された。
• 特にターゲットドメインにおいて、合成データと実データのクラスタのわずかな不整合が観察されたが、これはデータ分布の過剰適合を防ぎ、性能の頑健性に寄与している可能性がある。