[论文解读] Local Rademacher Complexity-based Learning Guarantees for Multi-Task Learning

Niloofar Yousefi, Yunwen Lei+3 more|arXiv (Cornell University)|Feb 18, 2016

Machine Learning and Algorithms参考文献 41被引用 4

一句话总结

本文通过局部 Rademacher 复杂度（LRC）建立了多任务学习（MTL）的紧致泛化界，其收敛速率快于传统的全局 Rademacher 复杂度分析。提出了一种适用于范数正则化和强凸假设类的新 LRC 界，从而为 Schatten-范数、组范数和图正则化 MTL 方法提供了快速率的过剩风险界。

ABSTRACT

We show a Talagrand-type concentration inequality for Multi-Task Learning (MTL), using which we establish sharp excess risk bounds for MTL in terms of distribution- and data-dependent versions of the Local Rademacher Complexity (LRC). We also give a new bound on the LRC for norm regularized as well as strongly convex hypothesis classes, which applies not only to MTL but also to the standard i.i.d. setting. Combining both results, one can now easily derive fast-rate bounds on the excess risk for many prominent MTL methods, including---as we demonstrate---Schatten-norm, group-norm, and graph-regularized MTL. The derived bounds reflect a relationship akeen to a conservation law of asymptotic convergence rates. This very relationship allows for trading off slower rates w.r.t. the number of tasks for faster rates with respect to the number of available samples per task, when compared to the rates obtained via a traditional, global Rademacher analysis.

研究动机与目标

• 解决科学应用中训练数据有限的挑战，例如基因组学和神经科学中单个任务数据稀缺的问题。
• 克服全局 Rademacher 复杂度（GRC）分析的局限性，该分析在多任务学习（MTL）中产生保守且缓慢的收敛速率。
• 通过利用局部 Rademacher 复杂度（LRC）实现更紧密、依赖数据的 MTL 泛化分析，该方法考虑了学习算法仅在假设空间的受限子集内选择假设的事实。
• 通过结合一种 Talagrand 类型的集中不等式与适用于范数正则化和强凸假设类的新 LRC 界，推导出 MTL 的快速率过剩风险界。
• 通过推导出著名 MTL 方法（包括 Schatten-范数、组范数和图正则化 MTL）的界，展示理论框架的实际效用。

提出的方法

• 将一种 Talagrand 类型的集中不等式适配到多任务学习设置中，以局部 Rademacher 复杂度（LRC）表示过剩风险的界。
• 为具有范数正则化或强凸正则化器的假设类提出一种新的 LRC 上界，该上界适用于 MTL 和标准 i.i.d. 学习设置。
• 通过在 Rademacher 变量上取期望，利用经验 LRC 推导出依赖数据的过剩风险界，从而获得更紧致的泛化保证。
• 通过分析假设空间的谱性质，将推导出的界应用于特定的 MTL 构型，包括 Schatten-范数、组范数和图正则化 MTL。
• 建立一个不动点方程，通过所推导的 LRC 上界和集中不等式求解最优经验风险界。
• 将所得收敛速率与全局 Rademacher 复杂度分析的速率进行比较，表明在任务数量上收敛较慢，但在每任务样本数上收敛更快，存在权衡。

实验结果

研究问题

• RQ1 与全局 Rademacher 复杂度相比，局部 Rademacher 复杂度能否为多任务学习提供更紧致的泛化界？
• RQ2 在基于 LRC 的分析下，任务数量与每任务样本数的收敛速率之间存在何种关系？
• RQ3 在 MTL 背景下，如何为范数正则化和强凸假设类的局部 Rademacher 复杂度建立上界？
• RQ4 所推导的界在多大程度上优于现有基于全局 Rademacher 复杂度的 MTL 方法（如 Schatten-范数、组范数和图正则化 MTL）的界？
• RQ5 所提出的框架能否产生反映任务复杂度与样本复杂度之间类似守恒关系的快速率过剩风险界？

主要发现

• 本文推导出的过剩风险界收敛速度优于传统的基于全局 Rademacher 复杂度的界，特别是在每任务样本数方面，显著提升了渐近收敛速率。
• 所推导的界是紧致且依赖数据的，通过聚焦于学习算法可能选择的假设子集，真实反映了算法的实际性能。
• 为范数正则化和强凸假设类建立了一种新的局部 Rademacher 复杂度上界，该上界具有一般性，不仅适用于 MTL，也适用于标准 i.i.d. 学习。
• 对于 Schatten-范数、组范数和图正则化 MTL，该框架可导出快速率过剩风险界，反映出一种权衡：任务数量的收敛变慢可通过每任务样本数的更快收敛来补偿。
• 分析揭示了任务数量与样本数量收敛速率之间存在类似守恒的关系，即一方的增益可抵消另一方的损失，从而实现更灵活、更鲁棒的泛化保证。
• 所推导边界的不动点解给出了最优风险界的闭式表达，其显式依赖于有效维度（有效秩之和）和假设空间的谱衰减特性。