[论文解读] $d$-SNE: Domain Adaptation using Stochastic Neighborhood Embedding

Xu Xiang, Xiong Zhou+3 more|arXiv (Cornell University)|May 29, 2019

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

该论文提出 $d$-SNE，一种新颖的端到端域自适应方法，通过在极小化-最大化优化中使用改进的豪斯多夫距离进行随机邻域嵌入，以学习域不变的潜在空间。在少样本和半监督设置下，该方法实现了最先进性能，即使在 Office-31 和 VisDA-C 等多样化数据集上每类仅使用 3–10 个标注样本时，也优于先前的方法。

ABSTRACT

Deep neural networks often require copious amount of labeled-data to train their scads of parameters. Training larger and deeper networks is hard without appropriate regularization, particularly while using a small dataset. Laterally, collecting well-annotated data is expensive, time-consuming and often infeasible. A popular way to regularize these networks is to simply train the network with more data from an alternate representative dataset. This can lead to adverse effects if the statistics of the representative dataset are dissimilar to our target. This predicament is due to the problem of domain shift. Data from a shifted domain might not produce bespoke features when a feature extractor from the representative domain is used. In this paper, we propose a new technique ($d$-SNE) of domain adaptation that cleverly uses stochastic neighborhood embedding techniques and a novel modified-Hausdorff distance. The proposed technique is learnable end-to-end and is therefore, ideally suited to train neural networks. Extensive experiments demonstrate that $d$-SNE outperforms the current states-of-the-art and is robust to the variances in different datasets, even in the one-shot and semi-supervised learning settings. $d$-SNE also demonstrates the ability to generalize to multiple domains concurrently.

研究动机与目标

• 解决在标注目标数据极度有限的少样本监督域自适应中的域偏移问题。
• 学习一个域不变的潜在空间，以在源域和目标域之间保持类别可分性。
• 通过利用随机邻域嵌入和大间隔最近邻学习，在低数据环境下提升泛化能力。
• 实现深度神经网络的端到端训练，无需重新训练分类器或进行特定域的微调。
• 将方法扩展至半监督和多域泛化设置，展示在多样化数据分布下的鲁棒性。

提出的方法

• 该方法采用改进的豪斯多夫距离度量来衡量潜在空间中域间的特征对齐，最小化域间差异。
• 采用极小化-最大化公式，同时最小化类内距离并最大化类间边际，以促进可区分性特征学习。
• 该方法基于随机邻域嵌入原理，类似于 SNE，但针对带有标注目标数据的监督域自适应进行了适配。
• 设计了一个可学习的端到端框架，支持在训练过程中联合优化特征提取器和域对齐损失。
• 通过在训练期间将未标注的目标样本纳入嵌入空间，支持半监督自适应。
• 该方法无需额外训练即可推广至多个域，展示了域泛化能力。

实验结果

研究问题

• RQ1 在低数据环境下，随机邻域嵌入能否有效适配于监督域自适应？
• RQ2 在极小化-最大化公式中，改进的豪斯多夫距离如何提升域对齐和特征可分性？
• RQ3 在仅使用极少标注目标数据的情况下，$d$-SNE 能否在少样本和半监督域自适应中实现最先进性能？
• RQ4 $d$-SNE 是否能在不重新训练的情况下推广至多个域，展示域泛化能力？
• RQ5 当仅有少量标注样本时，$d$-SNE 与无监督和监督基线方法相比表现如何？

主要发现

• 在仅每类 3 个标注样本的 Office-31 数据集上，使用 ResNet-101 的 $d$-SNE 达到 75.51% 的准确率，优于所有最先进基线方法。
• 在具有挑战性的 A→W 和 D→A 域偏移设置中，$d$-SNE 显著优于 CCSA 和 FADA，表现出更大的性能优势。
• 在 VisDA-C 数据集上，每类使用 10 个标注样本时，$d$-SNE 在监督设置下达到 80.66% 的准确率，超过 CCSA 的 76.89%。
• 通过半监督扩展，$d$-SNE 在 VisDA-C 上达到 86.15% 的准确率，甚至优于使用全部未标注目标数据的无监督 G2A 方法。
• t-SNE 可视化结果证实，$d$-SNE 有效对齐了潜在空间中的源域和目标域特征，同时保持了类别可分性。
• 该方法在多样化数据集和设置下表现出强鲁棒性，包括零样本和半监督学习，且无需额外的特定域适应。