[论文解读] Between-Domain Instance Transition Via the Process of Gibbs Sampling in RBM

Hossein Shahabadi Farahani, Alireza Fatehi+1 more|arXiv (Cornell University)|Jun 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用 6

一句话总结

本文提出了一种新颖的迁移学习方法，利用受限玻尔兹曼机（RBM）中的吉布斯采样，将目标域实例迁移至类似于源域分布的分布，从而在训练过程中无需目标数据即可实现有效的领域自适应。该方法在MNIST-M上的分类准确率达到65%，显著高于无迁移时的38%，并通过随机采样实现了像素级领域自适应。

ABSTRACT

In this paper, we present a new idea for Transfer Learning (TL) based on Gibbs Sampling. Gibbs sampling is an algorithm in which instances are likely to transfer to a new state with a higher possibility with respect to a probability distribution. We find that such an algorithm can be employed to transfer instances between domains. Restricted Boltzmann Machine (RBM) is an energy based model that is very feasible for being trained to represent a data distribution and also for performing Gibbs sampling. We used RBM to capture data distribution of the source domain and use it in order to cast target instances into new data with a distribution similar to the distribution of source data. Using datasets that are commonly used for evaluation of TL methods, we show that our method can successfully enhance target classification by a considerable ratio. Additionally, the proposed method has the advantage over common DA methods that it needs no target data during the process of training of models.

研究动机与目标

• 通过在具有不同数据分布的领域之间实现实例级迁移，解决迁移学习中的领域偏移问题。
• 开发一种方法，将知识从源域迁移至目标域，且在模型训练过程中无需使用带标签甚至未带标签的目标数据。
• 探索在能量模型（如RBM）中使用吉布斯采样作为领域自适应的随机机制。
• 通过RBM-based采样从目标实例生成类似源域的样本，实现像素级迁移学习。
• 证明基于RBM的吉布斯采样能够有效将目标数据与源数据分布对齐，从而提升下游分类性能。

提出的方法

• 在源域数据（如MNIST）上训练受限玻尔兹曼机（RBM），通过能量函数建模其联合概率分布。
• 利用训练好的RBM对目标域实例（如MNIST-M）执行吉布斯采样，通过迭代过程将它们转化为分布更接近源域的新样本。
• 对吉布斯采样过程执行多步（例如1步或3步），逐步将目标实例向源分布的能量极小值区域转移。
• 将生成的样本作为输入提供给在源域上训练的分类器，从而在目标域上实现性能提升。
• 采用持久对比散度（PCD）算法进行RBM的高效且稳定训练，避免标准对比散度的局限性。
• 使用卷积神经网络（CNN）作为分类器，在源域上预训练，并在变换后的目标数据上进行评估。

实验结果

研究问题

• RQ1 在训练好的RBM中使用吉布斯采样，能否有效将目标域实例转换为类似于源域分布的分布？
• RQ2 当在模型训练过程中不使用目标数据时，所提出的方法是否能提升目标域上的分类准确率？
• RQ3 该方法能否通过从目标实例生成视觉上合理、类似源域的样本，实现像素级迁移学习？
• RQ4 与直接应用或完整微调相比，使用该方法时分类器在目标域上的性能表现如何？
• RQ5 与需要在训练期间使用大量目标数据的标准领域自适应技术相比，该方法是否更具有效性？

主要发现

• 所提出的方法将MNIST-M目标域上的分类准确率从无迁移时的38%提升至65%，使用基于RBM的吉布斯采样进行领域自适应。
• 该方法成功实现了像素级迁移学习，生成的样本在视觉上类似于MNIST图像，并与源域标签保持一致。
• 在源数据上训练的分类器达到98%的准确率，而同一模型在原始目标数据上的准确率仅为38%，表明存在显著的领域偏移。
• 与直接将源模型应用于目标域相比，该方法实现了27个百分点的准确率提升，接近通过在带标签的MNIST-M数据上微调获得的94%准确率。
• 该方法在训练过程中完全不需要目标数据，仅依赖源模型和推理阶段通过吉布斯采样进行的转换，适用于低数据或隐私敏感的场景。
• 使用持久对比散度（PCD）进行RBM训练，实现了对源数据分布的稳定且有效的学习，支持可靠的采样。