[论文解读] Moment-Based Domain Adaptation: Learning Bounds and Algorithms

Werner Zellinger|arXiv (Cornell University)|Apr 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 189被引用 4

一句话总结

本文提出了一种基于时刻的域自适应框架，通过有限阶矩和光滑性条件来约束误分类风险，实现在弱分布相似性假设下的鲁棒泛化。该方法引入了一种新型的时刻距离用于神经网络正则化，在基准数据集和工业数据集上均优于强假设下的基线方法。

ABSTRACT

This thesis contributes to the mathematical foundation of domain adaptation as emerging field in machine learning. In contrast to classical statistical learning, the framework of domain adaptation takes into account deviations between probability distributions in the training and application setting. Domain adaptation applies for a wider range of applications as future samples often follow a distribution that differs from the ones of the training samples. A decisive point is the generality of the assumptions about the similarity of the distributions. Therefore, in this thesis we study domain adaptation problems under as weak similarity assumptions as can be modelled by finitely many moments.

研究动机与目标

• 通过放松对分布相似性的假设，解决机器学习中的分布偏移问题。
• 在仅使用有限阶矩和熵条件的弱假设下，建立误分类风险的理论边界。
• 基于基于时刻的度量设计实用的域自适应算法，仅需目标域的无标签数据。
• 在大规模基准数据集和真实世界工业回归问题上验证所提方法的有效性。

提出的方法

• 提出一种用于正则化神经网络的时刻距离度量，最小化源域与目标域之间时刻的差异。
• 引入一个理论框架，利用有限阶矩和底层分布的光滑性（熵）条件来约束泛化风险。
• 设计一种域自适应算法，仅利用目标域的无标签数据来对齐各域间的一阶矩。
• 基于训练风险、样本量、时刻相似性及熵约束，推导出所提方法误分类风险的上界。
• 将该框架应用于两个工业问题：制造中的时间序列建模和分析化学中的校准。
• 通过大规模基准数据集和真实世界数据集的实证验证，与标准域自适应和回归方法进行性能比较。

实验结果

研究问题

• RQ1 在分布相似性的弱假设下，特别是仅使用有限阶矩时，能否为判别模型建立理论风险边界？
• RQ2 如何利用基于时刻的距离度量来正则化神经网络，以提升域自适应的泛化性能？
• RQ3 所提出的时刻距离与现有的概率度量（如Wasserstein或MMD）之间存在何种关系？
• RQ4 所提方法能否优于依赖更强分布假设的现有域自适应方法？
• RQ5 在无标签目标数据的真实世界工业回归任务中，该方法的有效性如何？

主要发现

• 当假设被放松时，所提方法的误分类风险低于基线方法，表明在弱时刻相似性下仍具鲁棒性。
• 理论边界表明，低训练风险、大样本量、时刻相似性及熵约束共同确保了低泛化风险。
• 所提出的时刻距离度量与MMD和Wasserstein等其他概率度量相关，提供了理论支持。
• 在大规模基准数据集上，该方法优于依赖更强分布假设的现有域自适应算法。
• 在工业制造中，基于一阶矩的算法成功建模了来自未见分布的时间序列，优于标准回归模型。
• 在分析化学中，仅使用无标签数据的校准方法在两个真实世界数据集上优于标准方法，验证了其实际应用价值。