[论文解读] Failure Prediction in Production Line Based on Federated Learning: An Empirical Study

Ning Ge, Guanghao Li+2 more|arXiv (Cornell University)|Jan 25, 2021

Privacy-Preserving Technologies in Data参考文献 50被引用 5

一句话总结

本文提出联邦支持向量机（FedSVM）与联邦随机森林（FedRF）用于生产线故障预测，采用联邦学习（FL）实现无需共享原始数据的隐私保护模型训练。实证结果表明，联邦学习模型在全局、部分及未知测试数据上的性能与集中式学习（CL）相当，各项指标差异在0.1以内，证明联邦学习在工业人工智能应用中的可行性。

ABSTRACT

Data protection across organizations is limiting the application of centralized learning (CL) techniques. Federated learning (FL) enables multiple participants to build a learning model without sharing data. Nevertheless, there are very few research works on FL in intelligent manufacturing. This paper presents the results of an empirical study on failure prediction in the production line based on FL. This paper (1) designs Federated Support Vector Machine (FedSVM) and Federated Random Forest (FedRF) algorithms for the horizontal FL and vertical FL scenarios, respectively; (2) proposes an experiment process for evaluating the effectiveness between the FL and CL algorithms; (3) finds that the performance of FL and CL are not significantly different on the global testing data, on the random partial testing data, and on the estimated unknown Bosch data, respectively. The fact that the testing data is heterogeneous enhances our findings. Our study reveals that FL can replace CL for failure prediction.

研究动机与目标

• 为解决集中式学习（CL）在工业故障预测中面临的数据隐私限制问题，采用联邦学习（FL）方法。
• 设计并实现适用于生产线数据的联邦学习算法——FedSVM用于水平联邦学习，FedRF用于垂直联邦学习。
• 建立可复现的实验框架，用于评估工业场景下联邦学习与集中式学习的性能对比。
• 实证评估联邦学习在异构且受隐私约束的数据条件下，是否可替代集中式学习进行故障预测。
• 通过在公开的博世生产线数据集上测试，验证联邦学习在真实制造环境中的可行性。

提出的方法

• 设计基于FedSVM的水平联邦学习（HFL）场景，客户端训练本地SVM模型并聚合全局模型更新，无需共享原始数据。
• 设计基于FedRF的垂直联邦学习（VFL）场景，客户端在样本重叠但特征集不同的情况下，协作训练随机森林模型。
• 实现安全聚合协议，整合来自多个客户端的模型更新，同时保护数据隐私。
• 在模型训练前，对博世数据集应用标准数据预处理技术（如特征缩放、缺失值处理）。
• 采用标准化评估流程，通过全局测试集、随机部分测试集和估计未知测试集，对比联邦学习与集中式学习的性能。
• 使用相同的超参数和评估指标（如AUC、F1-score）训练并评估集中式学习与联邦学习模型，确保公平比较。

实验结果

研究问题

• RQ1 联邦学习能否在生产线故障预测中实现与集中式学习相当的预测性能？
• RQ2 联邦学习在异构测试数据上的表现如何，包括全局、部分及未知数据分布？
• RQ3 FedSVM与FedRF在不同评估场景下的性能是否与其中心化对应模型（SVM与RF）相当？
• RQ4 数据异构性与非独立同分布（non-IID）分布对工业场景下联邦学习性能有何影响？
• RQ5 在何种条件下，联邦学习可有效替代集中式学习进行制造故障预测，且不造成显著精度损失？

主要发现

• FedSVM与FedRF在所有测试场景中均实现了与其中心化对应模型（SVM与RF）相当的预测性能。
• 在全局测试集上，联邦学习模型与集中式学习模型的AUC与F1-score差异在0.1以内，表明性能损失极小。
• 在随机部分测试数据上，联邦学习模型保持了稳定性能，与集中式学习的指标差异低于0.1。
• 在估计未知的博世数据上评估时，联邦学习模型与集中式学习结果相当，预测精度无显著下降。
• 测试数据的异构性未降低联邦学习的性能，进一步验证了联邦方法的鲁棒性。
• 结果表明，联邦学习可在保护数据隐私的前提下，有效替代集中式学习用于工业生产线的故障预测。