[论文解读] Learning by Transferring from Auxiliary Hypotheses.

Ilja Kuzborskij, Francesco Orabona|arXiv (Cornell University)|Dec 4, 2014

Domain Adaptation and Few-Shot Learning参考文献 40被引用 3

一句话总结

本文提出通过正则化经验风险最小化（Regularized ERM）的假设迁移学习（Hypothesis Transfer Learning），该框架利用相关任务中的辅助假设来加速泛化。研究表明，当源假设组合良好时，泛化误差收敛速度达到快速的 $$\mathcal{O}(1/m)$$，而非标准的 $$\mathcal{O}(1/\sqrt{m})$$，从而形式化了当源假设完美时学习变得不必要的直觉。

ABSTRACT

In this work we consider the learning setting where in addition to the training set, the learner receives a collection of auxiliary hypotheses originating from other tasks. This paradigm, known as Hypothesis Transfer Learning (HTL), has been successfully exploited in empirical works, but only recently has received a theoretical attention. Here, we try to understand when HTL facilitates accelerated generalization -- the goal of the transfer learning paradigm. Thus, we study a broad class of algorithms, a Hypothesis Transfer Learning through Regularized ERM, that can be instantiated with any non-negative smooth loss function and any strongly convex regularizer. We establish generalization and excess risk bounds, showing that if the algorithm is fed with a good source hypotheses combination, generalization happens at the fast rate $\mathcal{O}(1/m)$ instead of usual $\mathcal{O}(1/\sqrt{m})$. We also observe that if the combination is perfect, our theory formally backs up the intuition that learning is not necessary. On the other hand, if the source hypotheses combination is a misfit for the target task, we recover the usual learning rate. As a byproduct of our study, we also prove a new bound on the Rademacher complexity of the smooth loss class under weaker assumptions compared to previous works.

研究动机与目标

• 理解假设迁移学习（HTL）在何种情况下相比标准学习速率能够实现加速泛化。
• 分析在光滑损失和强凸正则化下，一大类 HTL 算法的泛化与过剩风险边界。
• 形式化当源假设完美时，学习变得不必要的直觉。
• 建立理论条件，以说明 HTL 在泛化方面超越标准速率的机制。

提出的方法

• 本文提出一种通过正则化经验风险最小化（HTL-ERM）的假设迁移学习框架，采用任意非负光滑损失函数和强凸正则项。
• 通过在弱于先前工作的假设下分析光滑损失类的 Rademacher 复杂度，推导出泛化与过剩风险边界。
• 该方法将目标假设建模为辅助源假设的组合，学习算法在该组合上进行优化。
• 理论分析表明，若源假设组合准确，泛化误差将以 $$\mathcal{O}(1/m)$$ 的速率衰减，显著快于 $$\mathcal{O}(1/\sqrt{m})$$ 的标准速率。
• 推导出适用于光滑损失类的新 Rademacher 复杂度边界，在弱于先前结果的假设下实现改进。

实验结果

研究问题

• RQ1 在何种条件下，HTL 能够实现快于标准 ERM 的泛化速率？
• RQ2 源假设组合的质量如何影响泛化误差速率？
• RQ3 该理论框架能否形式化当源假设完美时，学习变得不必要的直觉？
• RQ4 光滑损失函数与强凸正则项对 HTL 中泛化边界的影响是什么？

主要发现

• 当源假设组合良好时，泛化误差以快速的 $$\mathcal{O}(1/m)$$ 速率收敛，显著快于标准的 $$\mathcal{O}(1/\sqrt{m})$$ 速率。
• 若源假设组合完美，理论形式化支持了无需学习的直觉，因为误差速率在无优化情况下趋近于零。
• 当源假设组合较差或不匹配时，泛化误差退化为标准的 $$\mathcal{O}(1/\sqrt{m})$$ 速率。
• 本文在弱于先前工作的假设下，为光滑损失类建立了新的 Rademacher 复杂度边界，从而增强了 HTL 的理论基础。