[论文解读] Assisted Learning: A Framework for Multi-Organization Learning

Xun Xian, Xinran Wang+2 more|arXiv (Cornell University)|Apr 1, 2020

Data Stream Mining Techniques参考文献 72被引用 16

一句话总结

本文提出了一种名为协作学习（Assisted Learning）的隐私保护框架，使组织能够在不共享私有数据、模型或学习任务的情况下，协作提升监督学习性能。通过在多轮迭代中仅交换非敏感的、与任务相关的统计量，各组织在包括线性、树模型和神经网络在内的多种模型上实现了接近集中式学习的性能——即近乎最优性能，该结果已在MIMIC-III等真实世界医疗基准数据集上得到验证。

ABSTRACT

In an increasing number of AI scenarios, collaborations among different organizations or agents (e.g., human and robots, mobile units) are often essential to accomplish an organization-specific mission. However, to avoid leaking useful and possibly proprietary information, organizations typically enforce stringent security constraints on sharing modeling algorithms and data, which significantly limits collaborations. In this work, we introduce the Assisted Learning framework for organizations to assist each other in supervised learning tasks without revealing any organization's algorithm, data, or even task. An organization seeks assistance by broadcasting task-specific but nonsensitive statistics and incorporating others' feedback in one or more iterations to eventually improve its predictive performance. Theoretical and experimental studies, including real-world medical benchmarks, show that Assisted Learning can often achieve near-oracle learning performance as if data and training processes were centralized.

研究动机与目标

• 解决隐私敏感组织之间无法共享私有数据、模型或学习任务的协作学习挑战。
• 设计一种去中心化框架，使组织通过多轮迭代协作提升本地模型性能，而无需中心化协调。
• 使组织在所有私有信息保持隔离的前提下，实现接近集中式数据整合的模型性能。
• 在真实世界应用中，验证该框架在多样化、非线性及非参数化学习任务中的有效性。

提出的方法

• 组织在多轮迭代中仅交换非敏感的、与任务相关的统计量（如残差或梯度），而非原始数据或模型参数。
• 每个组织利用其他组织提供的反馈来优化本地模型，逐步逼近集中式模型的性能。
• 该框架支持线性与非线性模型，包括岭回归、决策树、随机森林、梯度提升及神经网络。
• 采用基于残差的反馈机制，引导多轮迭代优化，模拟拥有其他组织数据的效果。
• 协议设计与现有机器学习流水线兼容，无需修改底层算法。
• 通过性能监控指导模型选择与迭代停止，防止过拟合，最优迭代轮数通过实验确定。

实验结果

研究问题

• RQ1 组织能否在不共享私有数据、模型或任务的前提下，提升监督学习的预测性能？
• RQ2 来自多个组织的迭代式、隐私保护性反馈，如何实现接近集中式学习的性能？
• RQ3 哪些形式的非敏感、与任务相关的统计量可被交换，以实现有效协作而不损害隐私？
• RQ4 该框架在多样化、非线性及非参数化学习模型上的表现如何？
• RQ5 在真实世界、隐私受限的场景下，该框架能否优于标准的集成方法（如堆叠）？

主要发现

• 在MIMIC-III数据集上预测住院时长的基准测试中，使用线性回归与岭回归模型时，协作学习的平均绝对偏差（MAD）值与最优性能（oracle）相差仅0.01–0.05。
• 对于决策树与集成方法，测试误差先下降至接近最优水平，随后略有上升，表明迭代次数与模型复杂度之间存在权衡。
• 对于两层神经网络，协作学习收敛速度略慢于最优性能，但在最优预测精度上差异可忽略。
• 与堆叠方法相比，协作学习在Friedman1与MIMIC3两个基准测试的所有模型组合中均显著优于堆叠方法。
• 在MIMIC3数据集上，当使用梯度提升作为元模型时，协作学习将MAD从堆叠方法的121.8降低至108.8。
• 该框架在所有测试模型上均实现了接近最优的性能，包括非参数化与深度学习架构，展现出广泛的适用性。