[논문 리뷰] Failure Prediction in Production Line Based on Federated Learning: An Empirical Study

Ning Ge, Guanghao Li외 2명|arXiv (Cornell University)|2021. 01. 25.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 5

한 줄 요약

이 논문은 원자료를 공유하지 않고도 기밀을 유지하는 모델 훈련이 가능한 연합학습(FL)을 활용하여 생산 라인의 고장 예측을 위한 연합 지원벡터기계(FedSVM)와 연합 랜덤 포레스트(FedRF)를 제안한다. 실험 결과, FL 모델은 글로벌, 부분적, 알 수 없는 테스트 데이터 전반에서 중심집중학습(CL)과 유사한 성능을 보이며, 지표 차이가 0.1 이내에 머물러 있어 FL이 산업용 AI 응용 분야에서 실현 가능함을 입증한다.

ABSTRACT

Data protection across organizations is limiting the application of centralized learning (CL) techniques. Federated learning (FL) enables multiple participants to build a learning model without sharing data. Nevertheless, there are very few research works on FL in intelligent manufacturing. This paper presents the results of an empirical study on failure prediction in the production line based on FL. This paper (1) designs Federated Support Vector Machine (FedSVM) and Federated Random Forest (FedRF) algorithms for the horizontal FL and vertical FL scenarios, respectively; (2) proposes an experiment process for evaluating the effectiveness between the FL and CL algorithms; (3) finds that the performance of FL and CL are not significantly different on the global testing data, on the random partial testing data, and on the estimated unknown Bosch data, respectively. The fact that the testing data is heterogeneous enhances our findings. Our study reveals that FL can replace CL for failure prediction.

연구 동기 및 목표

• 산업 고장 예측을 위한 중심집중학습(CL)의 데이터 기밀 제약을 해결하기 위해 연합학습(FL)을 적용함.
• 생산 라인 데이터에 맞게 최적화된 FL 알고리즘 설계 및 구현 — 수평 FL에 적합한 FedSVM과 수직 FL에 적합한 FedRF.
• 산업 환경에서 FL과 CL의 성능을 평가하기 위한 재현 가능한 실험 프레임워크 수립.
• 이질적이고 기밀이 보장되는 데이터 조건 하에서 FL이 CL을 대체할 수 있는지 실험적으로 평가함.
• 실제 제조 환경에서의 FL 타당성을 검증하기 위해 공개된 보쉬 생산 라인 데이터셋을 활용해 테스트함.

제안 방법

• 클라이언트들이 원자료를 공유하지 않고 로컬 SVM 모델을 훈련하고, 글로벌 모델 업데이트를 집계하는 수평 FL(HFL) 시나리오를 FedSVM를 활용해 설계함.
• 샘플은 겹치지만 특징 집합이 다른 클라이언트들이 협업하여 랜덤 포레스트 모델을 훈련하는 수직 FL(VFL) 시나리오를 FedRF를 활용해 설계함.
• 여러 클라이언트의 모델 업데이트를 안전하게 집계하여 데이터 기밀을 유지하는 보안적 집계 프로토콜을 구현함.
• 모델 훈련 전에 보쉬 데이터셋에 표준적인 데이터 전처리 기법(예: 특징 스케일링, 결측치 처리)을 적용함.
• FL과 CL의 성능을 비교하기 위해 글로벌, 무작위 부분, 추정 불확실 테스트 세트를 포함한 표준화된 평가 파이프라인을 사용함.
• 공정한 비교를 위해 동일한 초모수와 평가 지표(AUC, F1-score 등)를 사용하여 CL 및 FL 모델을 훈련하고 평가함.

실험 결과

연구 질문

• RQ1 연합학습은 생산 라인의 고장 예측에서 중심집중학습과 유사한 예측 성능을 달성할 수 있는가?
• RQ2 FL은 이질적인 테스트 데이터, 즉 글로벌, 부분적, 알 수 없는 데이터 분포에서 어떻게 성능을 보이는가?
• RQ3 FedSVM 및 FedRF의 성능은 각각의 중심집중학습 대응 모델(SVM 및 RF)과 다양한 평가 시나리오에서 유사한가?
• RQ4 데이터 이질성과 비독립동일분포(non-IID) 분포가 산업 환경에서 FL 성능에 어떤 영향을 미치는가?
• RQ5 어떤 조건에서 FL이 정밀도 손실 없이 제조 고장 예측에서 중심집중학습을 효과적으로 대체할 수 있는가?

주요 결과

• FedSVM 및 FedRF는 모든 테스트 시나리오에서 중심집중학습 대응 모델(SVM 및 RF)과 동등한 예측 성능을 달성함.
• 글로벌 테스트 세트에서 FL 모델과 CL 모델 간 AUC 및 F1-score의 차이는 0.1 이내에 머물러 있어 성능 저하가 최소임을 시사함.
• 무작위 부분 테스트 데이터에서 FL 모델은 일관된 성능을 유지하였으며, CL과의 지표 차이가 0.1 이하였음.
• 추정 불확실한 보쉬 데이터에서 평가했을 때, FL 모델은 CL과 유사한 결과를 보였으며, 예측 정확도에 유의미한 하락이 없었음.
• 테스트 데이터의 이질성이 FL 성능을 떨어뜨리지 않았으며, 이는 연합 기반 접근의 강건성을 강화함.
• 결과적으로, FL은 데이터 기밀을 유지하면서도 산업용 생산 라인의 고장 예측에서 중심집중학습을 효과적으로 대체할 수 있음이 입증됨.