[论文解读] Federated Learning System without Model Sharing through Integration of Dimensional Reduced Data Representations

Anna Bogdanova, Akie Nakai+3 more|arXiv (Cornell University)|Nov 13, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用 10

一句话总结

本文提出了一种联邦学习系统，通过整合降维后的数据表示来避免模型共享。利用秘密的降维函数，每个客户端将本地数据转换为中间表示（IRs），这些IRs被共享并合并为统一的低维数据集；该方法在性能上与联邦平均（Federated Averaging）相当，并在小用户设置下表现更优。

ABSTRACT

Dimensionality Reduction is a commonly used element in a machine learning pipeline that helps to extract important features from high-dimensional data. In this work, we explore an alternative federated learning system that enables integration of dimensionality reduced representations of distributed data prior to a supervised learning task, thus avoiding model sharing among the parties. We compare the performance of this approach on image classification tasks to three alternative frameworks: centralized machine learning, individual machine learning, and Federated Averaging, and analyze potential use cases for a federated learning system without model sharing. Our results show that our approach can achieve similar accuracy as Federated Averaging and performs better than Federated Averaging in a small-user setting.

研究动机与目标

• 解决联邦学习中因安全、竞争或监管顾虑而不愿共享模型时所面临的隐私与协作障碍。
• 探索一种替代模型共享的联邦学习方法，通过降维表示实现数据集成。
• 评估该无模型共享方法在图像分类任务中相对于集中式学习、独立学习和联邦平均的性能表现。
• 评估数据协作框架在竞争者或半可信方参与场景下的可行性与优势。
• 探究降维作为无正式隐私保证的分布式机器学习中隐私保护机制的潜力。

提出的方法

• 每个客户端独立地对其本地数据应用秘密的降维函数，生成中间表示（IRs），确保原始数据无法被重建。
• IRs被共享给一个中心聚合器，该聚合器利用共享的锚点数据将它们整合为一个统一的低维数据集。
• 由此生成的联合数据集用于训练最终的监督模型，而每个客户端保留在新数据上进行推理的独特变换函数。
• 该方法依赖于一个假设：由秘密降维函数生成的IRs不具备可逆性，从而保护数据隐私。
• 系统以单次遍历、非迭代的方式运行，避免了迭代模型平均带来的通信开销。
• 该方法使用标准图像分类基准进行评估，性能与集中式学习、独立学习和联邦平均进行对比。

实验结果

研究问题

• RQ1 一种无模型共享的联邦学习系统是否能在图像分类任务中实现与联邦平均相当的性能？
• RQ2 与集中式学习和独立学习相比，所提出的Data Collaboration方法在准确率和收敛速度方面表现如何？
• RQ3 在哪些场景下——尤其是小用户或竞争者协作设置中——Data Collaboration方法优于传统的模型共享联邦学习？
• RQ4 与共享模型或原始数据相比，共享降维表示的隐私影响是什么？
• RQ5 通过共享锚点数据整合IRs，如何在确保数据无法被重建的同时保持数据的实用性？

主要发现

• 所提出的Data Collaboration方法在图像分类基准上实现了与联邦平均和集中式训练相当的测试准确率。
• 在小用户设置下，该方法始终优于联邦平均，表明在数据有限的情况下具备更好的样本效率或泛化能力。
• 在较大数据集上，该系统达到可比结果所需训练时间更短，表明收敛效率更高。
• 通过整合降维表示，实现了无需共享模型或原始数据的有效协作学习。
• 该方法特别适用于竞争者协作场景，因为在这些场景中，模型共享会因知识产权顾虑而抑制参与意愿。
• 该方法在隐私敏感或竞争性环境中，作为模型共享联邦学习的实用替代方案，展现出实际可行性。