[论文解读] A Prototype-Oriented Framework for Unsupervised Domain Adaptation
本文提出了一种内存与计算效率更高的原型导向框架，用于无监督域自适应，通过将目标特征对齐到源自源域的类别原型，避免在自适应过程中依赖源数据。通过在目标特征与原型之间使用概率双向传输，该方法在不增加模型参数的情况下实现了最先进性能，并且收敛速度优于对抗性基线方法。
Existing methods for unsupervised domain adaptation often rely on minimizing some statistical distance between the source and target samples in the latent space. To avoid the sampling variability, class imbalance, and data-privacy concerns that often plague these methods, we instead provide a memory and computation-efficient probabilistic framework to extract class prototypes and align the target features with them. We demonstrate the general applicability of our method on a wide range of scenarios, including single-source, multi-source, class-imbalance, and source-private domain adaptation. Requiring no additional model parameters and having a moderate increase in computation over the source model alone, the proposed method achieves competitive performance with state-of-the-art methods.
研究动机与目标
- 为解决现有无监督域自适应方法在源域与目标域之间直接对齐特征时存在的局限性。
- 克服域自适应中因采样变异、类别不平衡以及源数据隐私问题带来的挑战。
- 开发一种在自适应过程中无需直接访问源数据的方法，实现隐私保护的自适应。
- 在多种域自适应场景（包括单源、多源及源私有设置）下实现快速收敛与鲁棒性能。
提出的方法
- 该方法将线性分类器的权重用作潜在空间中的类别原型，以表示源域的分布。
- 将特征对齐建模为在目标特征与源类原型之间的概率双向传输问题。
- 使用点对点距离函数定义传输成本，其中余弦距离被证明最为有效。
- 在反向传播过程中对原型的梯度进行截断，以防止退化解并提高稳定性。
- 框架采用双重传输损失：一个用于将目标特征映射到原型，另一个用于将原型映射到目标特征。
- 该方法以端到端方式在小批量数据上进行训练，实现高效且可扩展的自适应，且无需增加额外模型参数。
实验结果
研究问题
- RQ1在各种域偏移场景下，基于原型的方法是否能优于直接的源-目标特征对齐方法？
- RQ2与原始源特征相比，使用类别原型在应对类别不平衡和采样变异方面是否更具鲁棒性？
- RQ3目标特征与原型之间的双向传输机制在多大程度上能提升泛化能力和收敛速度？
- RQ4该方法是否能在不访问源数据的情况下实现具有竞争力的性能，特别是在隐私敏感的应用中？
- RQ5传输成本函数的选择与梯度截断策略对模型最终性能与稳定性的影响力如何？
主要发现
- 所提出的PCT方法在Office-31数据集上使用ResNet-50时实现了90.0%的平均准确率，优于包括DeepJDOT和POT在内的基线方法。
- PCT收敛迅速，在1,000次迭代内即达到稳定性能，之后测试准确率波动极小。
- 双向传输损失对性能贡献最大，若移除$\mathcal{L}_{\mu\rightarrow t}$损失，准确率将下降3.3%。
- 对原型停止梯度可使准确率提升1.0%，证实其在防止退化解中的关键作用。
- 基于余弦距离的代价函数相比指数核函数可实现3.1%更高的准确率，表明其在捕捉特征相似性方面更具优势。
- 该方法在所有测试设置（单源、多源、类别不平衡及源私有）下均取得具有竞争力的结果，且未增加模型参数。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。