[论文解读] Learning Bound for Parameter Transfer Learning

Wataru Kumagai|arXiv (Cornell University)|Oct 27, 2016

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

该论文通过引入参数化特征映射的局部稳定性与参数迁移可学习性，首次建立了参数迁移学习的理论学习界。推导出一个通用学习界，并将其应用于自教学习中的稀疏编码，证明在足够多的无标签数据和字典非相干性条件下，稀疏性假设下稀疏编码可实现有界泛化误差。

ABSTRACT

We consider a transfer-learning problem by using the parameter transfer approach, where a suitable parameter of feature mapping is learned through one task and applied to another objective task. Then, we introduce the notion of the local stability and parameter transfer learnability of parametric feature mapping,and thereby derive a learning bound for parameter transfer algorithms. As an application of parameter transfer learning, we discuss the performance of sparse coding in self-taught learning. Although self-taught learning algorithms with plentiful unlabeled data often show excellent empirical performance, their theoretical analysis has not been studied. In this paper, we also provide the first theoretical learning bound for self-taught learning.

研究动机与目标

• 为解决参数迁移学习中理论分析的缺乏，特别是针对使用无标签数据的自教学习。
• 形式化参数化特征映射的局部稳定性和参数迁移可学习性概念。
• 基于这些新理论概念，推导出参数迁移算法的通用学习界。
• 分析字典学习下稀疏编码的稳定性和泛化性能，特别是在自教学习设置中。
• 为使用参数迁移方法的自教学习提供首个理论学习界。

提出的方法

• 引入参数化特征映射的局部稳定性概念，以量化对输入扰动的敏感性。
• 将参数迁移可学习性定义为学习参数在不同任务间泛化能力的度量。
• 利用稳定性与可学习性概念，推导出参数迁移学习的通用学习界。
• 通过字典的 $μ$-非相干性属性，分析字典扰动下稀疏编码的稳定性。
• 通过假设表示的稀疏性，将通用界应用于稀疏编码，并推导出依赖于 $k$、$\lambda$、$\mu$ 和 $d$ 的界。
• 使用浓度不等式和次高斯尾部界，控制噪声下稀疏编码恢复的误差。

实验结果

研究问题

• RQ1 当从无标签源数据向有标签目标任务迁移知识时，参数迁移学习可建立哪些理论保证？
• RQ2 参数化特征映射的稳定性如何影响迁移学习中的泛化性能？
• RQ3 在稀疏性和字典非相干性假设下，能否为自教学习中的稀疏编码推导出学习界？
• RQ4 为确保自教学习中参数迁移的有界泛化误差，所需的无标签样本数量是多少？
• RQ5 所学习字典的非相干性如何影响迁移学习中稀疏编码的稳定性和泛化性能？

主要发现

• 基于局部稳定性和参数迁移可学习性，推导出参数迁移学习的通用学习界，为知识迁移提供了理论依据。
• 该界表明，泛化误差受参数迁移可学习性和特征映射稳定性的控制。
• 对于稀疏编码，泛化误差以高概率有界：$\|\Delta\|_2 \leq \frac{3\lambda\sqrt{k}}{1 - \mu k / \sqrt{d}}$。
• 该界依赖于稀疏度 $k$、正则化参数 $\lambda$ 和字典非相干性 $\mu$，且当 $d \geq \left(1 + \frac{6}{1-t}\right)^2 \mu^2 k^2$ 时保证紧致性。
• 以高概率 $1 - \delta_{t,\lambda}$，稀疏编码恢复满足 $\mathcal{M}_{k,\mathbf{D}^*}(\mathbf{x}) \geq t\lambda$，确保正确支持恢复。
• 本工作为使用参数迁移的自教学习提供了首个理论学习界，为未来无监督迁移学习的分析奠定了基础。