[论文解读] Algorithm-Dependent Bounds for Representation Learning of Multi-Source Domain Adaptation

Qi Chen, Mario Marchand|arXiv (Cornell University)|Apr 4, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出了一种基于信息论的多源域自适应（MDA）框架，利用基于互信息的算法相关泛化界，在目标分布偏移条件下改进表示学习。该研究提出了一种新型深度MDA算法IMDA，通过Wasserstein距离对齐联合优化域权重与表示，实现了SOTA性能，同时提升了内存效率并引入了非平凡的梯度范数正则化。

ABSTRACT

We use information-theoretic tools to derive a novel analysis of Multi-source Domain Adaptation (MDA) from the representation learning perspective. Concretely, we study joint distribution alignment for supervised MDA with few target labels and unsupervised MDA with pseudo labels, where the latter is relatively hard and less commonly studied. We further provide algorithm-dependent generalization bounds for these two settings, where the generalization is characterized by the mutual information between the parameters and the data. Then we propose a novel deep MDA algorithm, implicitly addressing the target shift through joint alignment. Finally, the mutual information bounds are extended to this algorithm providing a non-vacuous gradient-norm estimation. The proposed algorithm has comparable performance to the state-of-the-art on target-shifted MDA benchmark with improved memory efficiency.

研究动机与目标

• 解决多源域自适应中的目标分布偏移问题，即源域与目标域的标签分布存在差异。
• 开发基于模型参数与训练数据之间互信息的算法相关泛化界，以刻画模型过拟合行为。
• 设计一种内存高效的MDA方法，联合对齐表示空间中源域分布的凸组合与目标分布。
• 将这些泛化界扩展至深度神经网络算法，实现非平凡的梯度范数估计以用于正则化。
• 在显著目标分布偏移条件下，于基准数据集上对方法进行实证验证，尤其在无监督设置下。

提出的方法

• 利用信息论工具，基于模型参数与输入数据之间的互信息，推导出算法相关的泛化界。
• 提出一种联合分布对齐策略，将表示空间中源域的加权凸组合与目标域对齐。
• 提出一种深度MDA算法IMDA，通过随机梯度下降联合优化表示参数、分类器权重与域权重。
• 采用Wasserstein距离（W1）作为分布对齐的差异度量，利用其几何特性及在次高斯假设下的紧致界。
• 从互信息界推导出非平凡的梯度范数估计，用作域权重优化的正则化系数。
• 应用移动平均与基于方差的估计器，以在训练过程中稳定梯度范数估计。

实验结果

研究问题

• RQ1 如何利用信息论工具，为多源域自适应推导出算法相关的泛化界？
• RQ2 与成对对齐相比，将源域分布的凸组合与目标分布进行联合对齐，是否能在目标分布偏移下提升性能？
• RQ3 如何利用模型参数与数据之间的互信息，推导出深度MDA中的非平凡泛化界？
• RQ4 在无监督MDA中，将梯度范数估计用作域权重优化的正则化项，其影响如何？
• RQ5 在显著目标分布偏移下，所提出的IMDA算法在准确率与内存效率方面相较于SOTA方法表现如何？

主要发现

• 在目标域MNIST的50%标签丢失率下，IMDA算法达到89.26%的准确率，优于无监督设置下的MOST（88.23%）与DeepJDOT（87.5%）。
• 该算法通过避免成对判别器训练，显著提升了内存效率，其复杂度随源域数量线性增长，而非二次增长。
• 基于互信息的泛化界产生了非平凡的梯度范数估计，该估计被有效用作域权重优化的正则化系数。
• 训练损失与目标域与源域表示之间的Wasserstein距离持续下降，表明实现了有效的联合对齐。
• 域权重 $m{eta}$ 在训练过程中动态演化，更倾向于选择与目标域更相似的源域，如域权重演化可视化所示。
• 该方法在目标分布偏移的MDA基准上实现了SOTA性能，同时内存消耗低于先前方法。