[論文レビュー] $d$-SNE: Domain Adaptation using Stochastic Neighborhood Embedding

Xu Xiang, Xiong Zhou+3 more|arXiv (Cornell University)|May 29, 2019

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、最小最大化最適化を用いた修正ハイゼルト距離を用いた確率的近傍埋め込みを活用する、$d$-SNEという新規なエンドツーエンドのドメイン適応手法を提案する。この手法はドメイン不変の潜在空間を学習し、Office-31 や VisDA-C といった多様なデータセットにおいて、クラスあたり3〜10個のラベル付きサンプルしか使用しない状況でも、少サンプルおよび半教師あり設定で最先端の性能を達成する。

ABSTRACT

Deep neural networks often require copious amount of labeled-data to train their scads of parameters. Training larger and deeper networks is hard without appropriate regularization, particularly while using a small dataset. Laterally, collecting well-annotated data is expensive, time-consuming and often infeasible. A popular way to regularize these networks is to simply train the network with more data from an alternate representative dataset. This can lead to adverse effects if the statistics of the representative dataset are dissimilar to our target. This predicament is due to the problem of domain shift. Data from a shifted domain might not produce bespoke features when a feature extractor from the representative domain is used. In this paper, we propose a new technique ($d$-SNE) of domain adaptation that cleverly uses stochastic neighborhood embedding techniques and a novel modified-Hausdorff distance. The proposed technique is learnable end-to-end and is therefore, ideally suited to train neural networks. Extensive experiments demonstrate that $d$-SNE outperforms the current states-of-the-art and is robust to the variances in different datasets, even in the one-shot and semi-supervised learning settings. $d$-SNE also demonstrates the ability to generalize to multiple domains concurrently.

研究の動機と目的

• ラベル付きターゲットデータが極めて限られた少サンプル教師ありドメイン適応においてドメインシフトを解決すること。
• ソースドメインとターゲットドメインの両方でクラスの識別性を保つドメイン不変の潜在空間を学習すること。
• 確率的近傍埋め込みとマージン最大化近傍学習を活用することで、低データ環境における一般化性能を向上させること。
• 分類器の再トレーニングやドメイン固有のファインチューニングを必要とせずに、深層ニューラルネットワークのエンドツーエンド学習を可能にすること。
• 半教師ありおよびマルチドメイン一般化設定へと手法を拡張し、多様なデータ分布にわたる強靭性を示すこと。

提案手法

• 修正ハイゼルト距離を用いて潜在空間におけるドメイン間特徴の整合性を測定し、ドメイン間の乖離を最小化する。
• 最小化と最大化の両方を同時に最適化するミニマックス定式化を採用し、クラス内距離を小さくし、クラス間マージンを最大化することで、識別性の高い特徴学習を促進する。
• SNEと同様の確率的近傍埋め込みの原則に基づくが、ラベル付きターゲットデータを用いた教師ありドメイン適応に適応されたものである。
• 学習可能なエンドツーエンドフレームワークを設計し、トレーニング中に特徴抽出器とドメイン整合損失を同時に最適化可能にする。
• トレーニング中にラベルなしターゲットサンプルを埋め込み空間に統合することで、半教師あり適応を可能にする。
• 追加のトレーニングを必要とせず、複数のドメインへも一般化可能であり、ドメイン一般化の能力を示している。

実験結果

リサーチクエスチョン

• RQ1 低データ環境下において、確率的近傍埋め込みを教師ありドメイン適応に効果的に適応できるか？
• RQ2 ミニマックス定式化における修正ハイゼルト距離が、ドメイン整合性と特徴の識別性をどのように向上させるか？
• RQ3 $d$-SNEは、最小限のラベル付きターゲットデータで少サンプルおよび半教師ありドメイン適応において最先端の性能を達成できるか？
• RQ4 $d$-SNEは再トレーニングを必要とせず、複数のドメインへ一般化可能であり、ドメイン一般化の能力を示せるか？
• RQ5 わずか数個のラベル付きサンプルしか利用できない状況で、$d$-SNEは無教師および教師ありベースラインと比較してどのように性能を発揮するか？

主な発見

• Office-31データセットにおいて、クラスあたり3個のラベル付きサンプルしか使用しない状況で、$d$-SNE（ResNet-101）は75.51%の正確度を達成し、すべての最先端ベースラインを上回った。
• A→WおよびD→Aという困難なドメインシフトにおいて、$d$-SNEはCCSAやFADAよりも顕著に大きな性能差を示した。
• VisDA-Cにおいてクラスあたり10個のラベル付きサンプルを使用した教師あり設定では、$d$-SNEは80.66%の正確度を達成し、CCSAの76.89%を上回った。
• 半教師あり拡張を適用した場合、$d$-SNEはVisDA-Cで86.15%の正確度を達成し、すべてのラベルなしターゲットデータを使用した無教師のG2A手法でさえも上回った。
• t-SNEの可視化結果から、$d$-SNEが潜在空間においてソースとターゲットの特徴を効果的に統合し、同時にクラス分離性を保持していることが確認された。
• 本手法は、ワンショットおよび半教師あり学習を含む多様なデータセットや設定において、追加のドメイン固有の適応を必要とせずに、強靭な性能を示した。