[논문 리뷰] Personalized Federated Learning for Multi-task Fault Diagnosis of Rotating Machinery

Sheng Guo, Zengxiang Li외 3명|arXiv (Cornell University)|2022. 11. 17.

E-commerce and Technology Innovations인용 수 4

한 줄 요약

이 논문은 라우팅 기계에서 다중 작업 장故 진단을 위한 개인화된 플러드레이티드 학습 프레임워크를 제안하며, 유사한 기계를 군집화하는 연합 클러스터링과 데이터 이질성을 다루기 위한 적응형 계층적 집계를 사용한다. 이 방법은 공장 간에 개인정보 보호를 유지하면서도 협업 학습을 가능하게 하여, 특히 고장 샘플이 부족한 기계의 경우 진단 정확도를 크게 향상시킨다.

ABSTRACT

Intelligent fault diagnosis is essential to safe operation of machinery. However, due to scarce fault samples and data heterogeneity in field machinery, deep learning based diagnosis methods are prone to over-fitting with poor generalization ability. To solve the problem, this paper proposes a personalized federated learning framework, enabling multi-task fault diagnosis method across multiple factories in a privacypreserving manner. Firstly, rotating machines from different factories with similar vibration feature data are categorized into machine groups using a federated clustering method. Then, a multi-task deep learning model based on convolutional neural network is constructed to diagnose the multiple faults of machinery with heterogeneous information fusion. Finally, a personalized federated learning framework is proposed to solve data heterogeneity across different machines using adaptive hierarchical aggregation strategy. The case study on collected data from real machines verifies the effectiveness of the proposed framework. The result shows that the diagnosis accuracy could be improved significantly using the proposed personalized federated learning, especially for those machines with scarce fault samples.

연구 동기 및 목표

• 깊이 학습 기반 고장 진단에서 고장 샘플이 부족하고 산업 기계 간 데이터 이질성이 존재함으로써 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 원시 진동 데이터를 공유하지 않고도 여러 공장 간에 협업 모델 학습을 가능하게 하여 데이터 프라이버시를 유지하기 위해.
• 고장 샘플이 제한된 기계의 진단 정확도를 개인화된 연합 학습을 통해 향상시키기 위해.
• 시간 도메인 및 주파수 도메인 특징을 융합한 다중 작업 딥 러닝 모델을 개발하여 동시에 고장을 탐지하기 위해.
• 공유된 특징 추출과 개인화된 분류 구성 요소를 구분하는 적응형 계층적 집계 전략을 설계하기 위해.

제안 방법

• 원시 데이터를暴露하지 않고도 진동 신호 특징의 유사성에 기반해 서로 다른 공장의 기계를 군집화하기 위해 연합 클러스터링을 사용한다.
• 공통된 특징 추출을 위한 공유된 컬러레이션 신경망과 각 기계 그룹에 맞는 개인화된 다중 작업 분류 헤드를 갖춘 다중 작업 딥 러닝 모델을 구성한다.
• 개인화된 연합 학습 프레임워크는 적응형 계층적 집계를 적용한다: 모든 기계에 걸쳐 공유된 특징 추출기의 글로벌 집계와 각 기계 그룹 내에서의 개인화된 분류 헤드의 로컬 집계.
• 프레임워크는 지역 데이터 분포와 모델 성능에 기반해 모델 업데이트를 동적으로 가중치 부여하는 새로운 적응형 집계 전략을 사용한다.
• 진동 신호를 처리하여 시간 도메인 및 주파수 도메인 특징을 추출하고, 이를 딥 러닝 모델의 입력으로 사용한다.
• 데이터를 중앙 집중화하지 않아 개인정보 보호를 확보하면서도, 이질적인 데이터 분포를 가진 공장 간 지식 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 원시 진동 데이터를 공유하지 않고도 연합 클러스터링이 다양한 공장 간에 유사한 라우팅 기계를 효과적으로 군집화할 수 있는가?
• RQ2 일반적인 연합 학습과 단일 기계 모델에 비해 개인화된 연합 학습이 고장 진단 정확도를 얼마나 향상시키는가?
• RQ3 제안된 프레임워크가 고장 샘플이 부족한 기계에서 성능 저하를 어느 정도 완화하는가?
• RQ4 적응형 계층적 집계 전략이 기계 간 데이터 이질성을 다루는 데 있어 표준 집계 전략보다 뛰어나게 작용하는가?
• RQ5 시간 도메인 및 주파수 도메인 특징을 융합한 다중 작업 학습이 연합 환경에서 고장 진단 성능을 향상시키는가?

주요 결과

• 개인화된 연합 학습 프레임워크는 평균 F1 스코어 0.855를 기록하여 단일 기계 모델(0.818)과 일반적인 연합 학습(0.831)을 크게 능가했다.
• 고장 비율이 5% 이하인 기계의 경우, 단일 기계 모델에서 개인화된 FL로의 F1 스코어 향상이 가장 두드러졌으며, 최대 0.746까지 상승하여 0.543에 비해 향상되었다.
• 고장 샘플이 제한된 상황에서도 프레임워크는 높은 진단 정확도를 유지하여 저자료 환경에서의 강건성을 입증했다.
• 연합 클러스터링은 기계 간 데이터 이질성을 감소시켰으며, 이를 뒷받침하는 바탕으로 고장 유형 1과 3에서 각각 F1 스코어 0.851과 0.813을 기록했다.
• 개인화된 FL 방법은 테스트된 기계와 고장 유형의 90%에서 일반적인 FL 및 클러스터링 FL을 능가했으며, 특히 고장 비율이 낮은 경우에 두드러진 성능 향상을 보였다.
• 고장 샘플이 다수 존재하는 경우(예: 고장 비율 >50%), 연합 학습의 성능 향상은 미미했으며, 이는 그 가장 큰 이점이 저자료 시나리오에 있음을 확인시켰다.