[论文解读] Distributed Multi-Task Learning with Shared Representation

Jialei Wang, Mladen Kolar+1 more|arXiv (Cornell University)|Mar 7, 2016

Domain Adaptation and Few-Shot Learning参考文献 32被引用 16

一句话总结

本文提出了一种通信高效的分布式多任务学习方法，通过利用任务间的共享低秩表示，采用DGSP和DNSP等新算法，在保持接近集中式核范数正则化性能的同时减少通信轮次。主要贡献在于显著降低了通信成本——尤其是DNSP方法——且未牺牲泛化能力，在特征相关性较高的设置下优于一阶方法和一次性SVD方法。

ABSTRACT

We study the problem of distributed multi-task learning with shared representation, where each machine aims to learn a separate, but related, task in an unknown shared low-dimensional subspaces, i.e. when the predictor matrix has low rank. We consider a setting where each task is handled by a different machine, with samples for the task available locally on the machine, and study communication-efficient methods for exploiting the shared structure.

研究动机与目标

• 为解决分布式多任务学习中的挑战，即每台机器持有不同任务的数据且通信成本高昂。
• 利用任务间的共享低维子空间，提升泛化能力，超越单任务学习的性能。
• 设计利用预测器矩阵中低秩结构的通信高效优化方法。
• 开发并分析新型算法——DGSP和DNSP——通过贪婪子空间学习和二阶信息减少通信轮次。
• 在回归和分类任务上对所提方法进行实证评估，与基线方法及一次性SVD截断方法进行比较。

提出的方法

• 提出一种分布式多任务学习框架，其中每台机器学习一个特定任务的预测器，且所有预测器被约束在共享的低秩子空间中。
• 使用核范数正则化在预测器矩阵中诱导低秩结构，从而实现共享特征的联合学习。
• 引入DGSP（分布式贪婪子空间追踪）和DNSP（分布式非凸子空间追踪），通过一次性或贪婪更新迭代学习共享子空间。
• 采用主从架构，其中工作节点执行本地经验风险最小化（ERM）或梯度计算，并仅向主节点通信低维表示。
• 应用SVD截断和主奇异向量计算，以在通信轮次间高效保持低秩结构。
• 使用ADMM、ProxGD、AccProxGD和DFW作为基线进行比较，分析其通信和计算复杂度。

实验结果

研究问题

• RQ1 通信高效的分布式算法能否实现与集中式多任务学习中共享低秩表示相当的性能？
• RQ2 与一阶方法相比，使用二阶信息（如DNSP中）如何影响通信效率？
• RQ3 对本地模型进行一次性SVD截断是否可作为分布式多任务学习中迭代通信的可行替代方案？
• RQ4 所提出的DGSP和DNSP算法与ADMM和ProxGD等标准优化方法相比，在收敛性和通信成本方面表现如何？
• RQ5 特征相关性对基于一次性SVD方法在分布式多任务学习中可靠性的影响是什么？

主要发现

• 核范数正则化显著提升了预测性能，相较于单任务学习，证明了共享表示的优势。
• ADMM和AccProxGD优于标准ProxGD，因为它们在每次迭代中求解正则化ERM问题，且ADMM在实验中表现强劲。
• DGSP与ProxGD表现相似，但DGSP随时间推移性能下降，因其缺乏全局收敛性保证，而ProxGD可收敛至全局最优解。
• DNSP实现了最高的通信效率，且通常收敛至略优于核范数正则化最优解的解，表明二阶信息具有显著价值。
• 一次性SVD截断方法在高度相关的特征设置下失效，有时甚至表现不如本地单任务学习，原因在于相关估计噪声的影响。
• DFW在所有方法中表现最差，表明尽管DGSP与DFW在结构上相似，但DGSP中的重拟合步骤对性能至关重要。