[论文解读] Hypothesis Transfer Learning via Transformation Functions

Simon S. Du, Jayanth Koushik+2 more|arXiv (Cornell University)|Dec 3, 2016

Domain Adaptation and Few-Shot Learning参考文献 37被引用 15

一句话总结

本文提出了一种统一的假设迁移学习（HTL）框架，通过使用变换函数来建模源域与目标域之间的关系。通过将这些函数整合到基于核的估计器（如核平滑和核岭回归）中，作者建立了首个理论上的过失风险上界，表明在域相似性条件下收敛速度更快——这在低数据场景下展示了更高的统计效率。

ABSTRACT

We consider the Hypothesis Transfer Learning (HTL) problem where one incorporates a hypothesis trained on the source domain into the learning procedure of the target domain. Existing theoretical analysis either only studies specific algorithms or only presents upper bounds on the generalization error but not on the excess risk. In this paper, we propose a unified algorithm-dependent framework for HTL through a novel notion of transformation function, which characterizes the relation between the source and the target domains. We conduct a general risk analysis of this framework and in particular, we show for the first time, if two domains are related, HTL enjoys faster convergence rates of excess risks for Kernel Smoothing and Kernel Ridge Regression than those of the classical non-transfer learning settings. Experiments on real world data demonstrate the effectiveness of our framework.

研究动机与目标

• 解决现有HTL方法中普遍缺乏一般性过失风险分析的问题，这些方法通常仅关注泛化误差或特定算法。
• 通过使用变换函数，将多种HTL方法（如偏移、缩放）统一到一个依赖于算法的单一框架下。
• 为基于核的方法（KS与KRR）在迁移学习下的显式理论风险上界提供支持，证明当域相关时收敛速度得到提升。
• 提出一种交叉验证策略，自动选择最优变换函数，避免在域不相关时造成有害的迁移。
• 在真实世界数据集（如fMRI和机器人任务）中，针对目标域数据有限的情况，展示该框架的实际有效性。

提出的方法

• 将变换函数作为学习算法的正式输入，以捕捉源域与目标域函数之间的结构性关系。
• 将HTL问题形式化为风险最小化任务，其中源域的假设经过变换后用于改进目标域的估计。
• 利用稳定性理论分析该框架的过失风险，表明稳定的基础算法（如KS、KRR）可带来鲁棒的迁移性能。
• 为核平滑和核岭回归推导出显式的过失风险上界，证明当源函数与目标函数相关时收敛速度更快。
• 提出一种基于交叉验证的选取机制，仅使用少量目标数据，从候选池中识别最优变换函数。
• 在合成数据集和真实世界数据集上实现并评估该框架，与非迁移方法及基线迁移方法进行性能比较。

实验结果

研究问题

• RQ1 是否存在一种通用的、依赖于算法的框架，能够统一现有HTL方法，并支持对过失风险的理论分析？
• RQ2 在基于核的回归中，何时通过变换函数的迁移学习相比非迁移学习能实现更快的收敛速度？
• RQ3 如何利用交叉验证在缺乏域相似性先验知识的情况下选择最优变换函数？
• RQ4 在目标域数据有限的情况下，所提出的框架是否优于标准学习方法和现有迁移学习方法？
• RQ5 在真实世界应用中，不同类型的变换（如偏移与缩放）对最终预测性能有何影响？

主要发现

• 当源域与目标域相关时，与非迁移学习相比，该框架在核平滑和核岭回归中实现了更快的过失风险收敛速度。
• 在包含80个目标样本的fMRI数据集中，偏移KRR的平均决定系数（R-squared）达到0.1080，且方差较低（0.0682），优于仅使用目标数据的KRR（平均0.1041，标准差0.2361），且显著降低了方差。
• 在机器人数据集中，所提方法在均方误差方面优于所有基线方法，尤其在目标数据稀缺时（如n_ta < 100）表现更优。
• 仅使用少量目标数据的交叉验证可有效选择变换函数，避免在迁移无益时导致性能下降。
• 理论分析证实，稳定的基础算法（如KS、KRR）可确保源域中的估计误差不会严重传播至目标域。
• 实证结果表明，在真实世界场景中，基于偏移的变换通常优于基于缩放的变换，但交叉验证能可靠地选择出最佳选项。