[论文解读] Application of federated learning in manufacturing

Vinit Hegiste, Tatjana Legler+1 more|arXiv (Cornell University)|Aug 9, 2022

Privacy-Preserving Technologies in Data参考文献 24被引用 4

一句话总结

本文提出将联邦学习（FL）应用于制造业中的协作质量检测，多个工厂在不共享原始数据的前提下联合训练一个共享的深度学习模型。通过使用ImageNet预训练权重对VGG-19模型进行微调，并仅在客户端之间聚合模型权重，全局模型在仅5轮通信后即实现了对缺陷USB组件的高精度分类，优于从随机权重开始训练的模型，证明了其在保护隐私的工业人工智能中的有效性。

ABSTRACT

A vast amount of data is created every minute, both in the private sector and industry. Whereas it is often easy to get hold of data in the private entertainment sector, in the industrial production environment it is much more difficult due to laws, preservation of intellectual property, and other factors. However, most machine learning methods require a data source that is sufficient in terms of quantity and quality. A suitable way to bring both requirements together is federated learning where learning progress is aggregated, but everyone remains the owner of their data. Federate learning was first proposed by Google researchers in 2016 and is used for example in the improvement of Google's keyboard Gboard. In contrast to billions of android users, comparable machinery is only used by few companies. This paper examines which other constraints prevail in production and which federated learning approaches can be considered as a result.

研究动机与目标

• 为解决工业机器学习中的数据隐私和知识产权限制，通过在不共享原始生产数据的前提下实现协作式模型训练。
• 评估联邦学习在实际制造质量检测场景中的可行性与性能，该场景涉及有限且分布不均的缺陷数据。
• 对比不同模型初始化策略——随机初始化与预训练权重——在低数据、工业环境下的联邦训练表现。
• 证明全局聚合模型能够在制造环境中对多样化客户端数据分布实现良好泛化。
• 通过在三个客户端上使用真实缺陷USB组件数据集，验证联邦学习的有效性。

提出的方法

• 采用中心化服务器聚合来自三家客户端工厂的模型权重，每个工厂拥有独立的USB组件图像本地数据集。
• 使用VGG-19架构，通过预训练的ImageNet卷积层进行特征提取，并在本地缺陷数据上微调最终分类器头。
• 模型权重在每个客户端设备上本地更新，并在每轮通信后发送至中心服务器，采用FedAvg作为聚合算法。
• 通过在每轮通信中对客户端模型权重进行平均，重建全局模型，确保数据隐私，因为原始图像从未被传输。
• 客户端使用本地数据训练模型，并在外部测试集上评估性能，包括未出现在任何客户端训练数据中的第三方USB组件。
• 本研究对比了从随机初始权重与从预训练ImageNet权重开始训练的差异，衡量收敛速度与泛化性能。

实验结果

研究问题

• RQ1 当缺陷数据稀缺且在各工厂间分布不均时，联邦学习是否能有效训练出高精度的质量检测模型？
• RQ2 在工业缺陷检测的联邦学习中，使用预训练的ImageNet权重如何影响收敛速度与模型性能？
• RQ3 全局聚合的联邦模型在未见缺陷类型或未包含在任何客户端训练数据中的第三方产品上，其泛化能力达到何种程度？
• RQ4 在每家客户端数据有限的联邦设置下，通信轮次如何影响全局模型的准确率与鲁棒性？
• RQ5 在保护隐私的前提下，联邦学习是否在工业质量检测中优于集中式训练，同时保持相当或更优的泛化性能？

主要发现

• 使用ImageNet权重初始化的微调VGG-19模型仅通过5轮通信即实现了高精度的缺陷分类，显著优于从随机权重开始训练的模型。
• 通过联邦学习聚合的全局模型对未出现在任何客户端训练数据中的第三方USB组件表现出良好泛化能力，能以高置信度正确识别隐藏缺陷。
• 从随机初始权重开始训练的模型至少需要20轮通信才能实现有意义的准确率提升，且在外部数据上的性能依然较差。
• 通过联邦学习训练的全局模型在实际分类中检测出所有缺陷，且置信度略高于集中式训练的VGG模型，证明其具有更优的泛化能力。
• 使用预训练权重可显著减少所需通信轮次并提升收敛速度，对在数据有限的工业环境中实现实际部署至关重要。
• 联邦方法成功保护了数据隐私，因为未共享任何原始图像，所有训练均在客户端设备上本地完成。