[论文解读] Learning curves for multi-task Gaussian process regression

Simon R. F. Ashton, Peter Sollich|arXiv (Cornell University)|Nov 2, 2012

Gaussian Processes and Bayesian Inference参考文献 20被引用 4

一句话总结

本文为多任务高斯过程回归中的学习曲线开发了一种解析近似方法，利用张量结构特征空间和偏微分方程来建模跨任务的误差衰减。研究发现，对于平滑函数，除非任务完全相关（ρ=1），否则多任务学习在渐近意义上无效，并在高任务数情况下揭示了两阶段学习过程：初始集体误差减少阶段，随后是当每个任务的样本数量与T成比例时的缓慢单任务学习阶段。

ABSTRACT

We study the average case performance of multi-task Gaussian process (GP) regression as captured in the learning curve, i.e. the average Bayes error for a chosen task versus the total number of examples $n$ for all tasks. For GP covariances that are the product of an input-dependent covariance function and a free-form inter-task covariance matrix, we show that accurate approximations for the learning curve can be obtained for an arbitrary number of tasks $T$. We use these to study the asymptotic learning behaviour for large $n$. Surprisingly, multi-task learning can be asymptotically essentially useless, in the sense that examples from other tasks help only when the degree of inter-task correlation, $ρ$, is near its maximal value $ρ=1$. This effect is most extreme for learning of smooth target functions as described by e.g. squared exponential kernels. We also demonstrate that when learning many tasks, the learning curves separate into an initial phase, where the Bayes error on each task is reduced down to a plateau value by "collective learning" even though most tasks have not seen examples, and a final decay that occurs once the number of examples is proportional to the number of tasks.

研究动机与目标

• 为任意数量任务的多任务高斯过程回归中的学习曲线，推导出一种显式且非基于采样的近似方法。
• 分析贝叶斯误差在训练集大小n增加时的渐近行为。
• 研究任务间相关性ρ在决定学习效率方面的作用，特别是在任务数量众多的极限情况下。
• 揭示当T较大时学习动态的结构性分离，包括集体学习与延迟的单任务学习。
• 挑战多任务收益在两任务以上情况下与ρ²呈线性关系的假设。

提出的方法

• 在张量结构特征空间中表达每个任务的贝叶斯误差，其中训练样本以加法方式贡献。
• 推导出当向任一任务添加样本时，贝叶斯误差演化的偏微分方程。
• 使用特征线法求解这些PDE，以获得学习曲线的闭式近似。
• 利用所得近似分析当n → ∞和T → ∞时的渐近行为。
• 通过有效噪声水平和重标定的样本数量，将学习曲线与单任务高斯过程行为关联。
• 通过双任务场景和高T条件下的数值模拟验证预测结果。

实验结果

研究问题

• RQ1 在多任务高斯过程设置中，给定任务的贝叶斯误差如何随所有任务的总训练样本数衰减？
• RQ2 在何种条件下多任务学习能提供渐近优势，特别是对平滑函数而言？
• RQ3 即使大多数任务未见过任何样本，高T条件下是否仍可能发生集体学习？
• RQ4 为何当T > 2时，渐近误差衰减的多任务收益不随ρ²线性增长？
• RQ5 当任务数T较大时，学习动态如何分离为不同阶段？

主要发现

• 对于平滑函数（如平方指数核），除非任务完全相关（ρ = 1），否则多任务学习在渐近意义上无收益，因为误差衰减速率与ρ < 1无关。
• 当T → ∞且n固定时，每个任务的贝叶斯误差会稳定在1 − ρ，这是由于集体学习所致，即使大多数任务未见任何样本。
• 只有当n与T成比例时，才会进入第二个、更缓慢的学习阶段，此时每个任务已看到大量样本。
• 对于平滑函数（α → 1），渐近误差以(1 − ρ)^{1−α}的速率衰减，表明仅当ρ = 1时收益才存在。
• 在T = 2时有效的ρ²线性误差减少下界，无法推广至T > 2，因为粗糙函数的实际衰减速率是次线性的。
• 所推导的近似方法无需蒙特卡洛采样或单任务曲线的先验知识，即可准确预测学习曲线，并与数值模拟高度吻合。