[论文解读] Distributed Multitask Learning

Jialei Wang, Mladen Kolar+1 more|arXiv (Cornell University)|Oct 2, 2015

Sparse and Compressive Sensing Techniques参考文献 34被引用 6

一句话总结

本文提出DSML，一种通信高效的分布式多任务学习算法，采用去偏Lasso估计器，实现与集中式组Lasso方法相当的性能。该方法仅需一轮通信，每台机器发送一个向量并接收一个共享支持集，在温和条件下达到与集中式方法相当的最优阶理论保证。

ABSTRACT

We consider the problem of distributed multi-task learning, where each machine learns a separate, but related, task. Specifically, each machine learns a linear predictor in high-dimensional space,where all tasks share the same small support. We present a communication-efficient estimator based on the debiased lasso and show that it is comparable with the optimal centralized method.

研究动机与目标

• 解决数据和任务分布在多台机器上且通信成本昂贵的分布式多任务学习挑战。
• 开发一种方法，在最小化通信开销的同时保持集中式组Lasso的统计效率。
• 在合理假设下，实现支持恢复与参数估计，并具备与集中式方法相当的理论保证。
• 在所有任务共享共同稀疏支持的高维设置下，实现可扩展的、通信高效的机器学习。
• 在不牺牲统计精度的前提下，将多任务学习的适用范围扩展至大规模分布式系统。

提出的方法

• 提出DSML，一种单轮通信的分布式算法，利用去偏Lasso估计器在高维空间中估计任务特定的预测器。
• 每个工作节点计算本地去偏Lasso估计，并将系数向量发送至中心节点。
• 中心节点聚合这些估计，并基于广义相干性条件计算全局支持集。
• 通过基于共享支持集对聚合估计进行硬阈值化，获得最终估计器，从而提升估计精度。
• 利用受限特征值条件与广义相干性条件，确保理论一致性与最优误差率。
• 整合去偏Lasso框架以校正组Lasso估计中的偏差，实现准确的推断与支持恢复。

实验结果

研究问题

• RQ1 能否设计一种分布式多任务学习方法，在最小通信开销下实现与集中式组Lasso相当的统计性能？
• RQ2 在共享稀疏性多任务学习中，维持支持恢复与参数估计精度所需的最低通信成本是多少？
• RQ3 在高维设置下，DSML方法在估计误差与预测误差方面与局部Lasso和集中式组Lasso相比如何？
• RQ4 在何种条件下，DSML能达到与集中式方法相同的最优阶误差率？
• RQ5 该通信高效方法能否扩展至共享稀疏性以外的其他结构化稀疏模型？

主要发现

• 在广义相干性与受限特征值条件下，DSML达到与集中式组Lasso相同的最优阶参数估计误差：$\frac{|S|}{\sqrt{n}}\sqrt{1+\frac{\log p}{m}} + \frac{|S|^2\log p}{n}$。
• DSML的预测误差与集中式组Lasso相比，仅相差高阶项：$\frac{|S|}{n}\left(1+\frac{\log p}{m}\right) + \frac{|S|^3(\log p)^2}{n^2}$。
• DSML在最小信号强度为$\sqrt{\frac{1}{n}\left(1+\frac{\log p}{m}\right)} + \frac{|S|\log p}{n}$时可恢复真实支持，其恢复速率在温和假设下与组Lasso一致。
• 实验结果表明，DSML的表现几乎与重拟合组Lasso相当，且显著优于局部Lasso，尤其在任务数量增加时优势更明显。
• 在真实数据集（School, Protein, OCR, MNIST, USPS, Vehicle）上，DSML在仅使用10%–50%数据训练时，预测误差与估计误差均与集中式方法相当。
• 该方法在通信受限条件下仍保持优异性能，每轮通信成本仅为$\mathcal{O}(p)$，且随任务数量增加具有良好可扩展性。