[논문 리뷰] Knowledge Transfer based Evolutionary Deep Neural Network for Intelligent Fault Diagnosis

Arun Sharma, Nishchal K. Verma|arXiv (Cornell University)|2021. 09. 28.

Evolutionary Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 지식 전이 기반의 진화적 딥 네ural 네트워크 프레임워크인 EvoN2N을 제안하며, 다중 목적 최적화를 통해 자동으로 최적의 DNN 아키텍처를 탐색한다. 실수 코딩된 염색체를 사용해 네트워크의 깊이와 너비를 인코딩하고, 빠른 적합도 평가를 위해 전이 학습을 활용함으로써, 다양한 산업용 고장 진단 데이터셋에서 변동하는 운영 조건 하에서도 거의 100%의 분류 정확도를 달성한다.

ABSTRACT

A faster response with commendable accuracy in intelligent systems is essential for the reliability and smooth operations of industrial machines. Two main challenges affect the design of such intelligent systems: (i) the selection of a suitable model and (ii) domain adaptation if there is a continuous change in operating conditions. Therefore, we propose an evolutionary Net2Net transformation (EvoN2N) that finds the best suitable DNN architecture with limited availability of labeled data samples. Net2Net transformation-based quick learning algorithm has been used in the evolutionary framework of Non-dominated sorting genetic algorithm II to obtain the best DNN architecture. Net2Net transformation-based quick learning algorithm uses the concept of knowledge transfer from one generation to the next for faster fitness evaluation. The proposed framework can obtain the best model for intelligent fault diagnosis without a long and time-consuming search process. The proposed framework has been validated on the Case Western Reserve University dataset, the Paderborn University dataset, and the gearbox fault detection dataset under different operating conditions. The best models obtained are capable of demonstrating an excellent diagnostic performance and classification accuracy of almost up to 100% for most of the operating conditions.

연구 동기 및 목표

• 변동하는 운영 조건 하에서 지능형 고장 진단을 위한 최적의 딥 네ural 네트워크(DNN) 아키텍처를 선택하는 데 도전하는 것.
• 계산 비용이 많이 들고 시간이 오래 걸리는 전통적인 하이퍼파라미터 탐색 방법의 한계를 극복하는 것.
• 진화적 아키텍처 탐색과 도메인 적응을 결합해 산업 현장에서 신속하고 정확한 고장 진단을 가능하게 하는 것.
• 진화 과정 동안 지식 전이를 통해 사전 훈련된 모델을 활용해 광범위한 재훈련이 필요 없도록 하는 것.
• 최소한의 레이블 데이터로 실시간 산업 고장 진단을 위한 확장 가능하고 효율적인 프레임워크를 개발하는 것.

제안 방법

• 진화적 최적화를 위해 DNN 아키텍처(깊이 및 너비)를 실수 코딩된 염색체로 인코딩한다.
• 네트워크 깊이 및 너비를 다중 목적 최적화하기 위해 비지미드 소트 기반 유전 알고리즘 II(NSGA-II)를 사용한다.
• 깊이 및 너비 파라미터의 탐색 공간을 효과적으로 탐색하고 이용하기 위해 하이브리드 교차 기법을 구현한다.
• 사전 훈련된 소스 모델을 사용해 개체를 초기화함으로써 수렴 속도를 높이는 지식 전이 기반의 적합도 평가 체계를 도입한다.
• 소스 도메인에서 사전 훈련된 모델의 가중치를 사용해 DNN 가중치를 초기화함으로써 각 개체의 훈련 시간을 단축시킨다.
• 적합도 평가 중 매개변수 최적화를 위해 L-BFGS를 사용하여 진화된 아키텍처의 효율적 훈련을 보장한다.

Figure 1: General structure of DNN with softmax classifier

실험 결과

연구 질문

• RQ1 수동 하이퍼파라미터 튜닝 없이도 진화적 프레임워크가 고장 진단을 위한 최적의 DNN 아키텍처를 효과적으로 탐색할 수 있는가?
• RQ2 적합도 평가 중 지식 전이가 진화적 아키텍처 탐색의 효율성과 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법이 운영 조건이 다른 다양한 산업용 데이터셋에 얼마나 일반화되는가?
• RQ4 기존 최첨단 방법들인 SVM, DTL, DAFD 및 EvoDCNN과 비교해 제안된 EvoN2N 프레임워크는 성능 및 효율성 면에서 어떻게 다른가?
• RQ5 하이브리드 교차 및 다중 목적 최적화가 수렴성과 진단 정확도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 EvoN2N 프레임워크는 케이스 웨스턴리저브 대학교(CWRU), 파드르른 대학교(PBU), 기어박스 고장 탐지(GFD) 데이터셋에서 거의 100%의 분류 정확도를 달성하여 기준 방법들보다 뚜렷이 뛰어나다.
• 모든 세 데이터셋에서 평균 분류 정확도 향상도(SVM 기준)가 일관되게 높아, 강력한 도메인 적응 능력을 입증한다.
• 세대에 걸쳐 적합도 값이 안정적으로 향상되며, 하이브리드 교차 및 변형을 통한 NSGA-II의 효과적인 탐색 및 이용을 시사한다.
• DTL, DAFD 및 EvoDCNN과 같은 최첨단 방법들을 모두 능가하며, 아키텍처 탐색 및 진단 성능 면에서의 우월성을 확인한다.
• 알고리즘의 복잡도는 O(N_I * N_p * n^2)로 근사되며, 여기서 N_I는 훈련 반복 수, N_p는 개체 수, n은 매개변수 수이다. 이는 통제된 개체 수로도 확장 가능함을 보여준다.
• 적합도 평가에 지식 전이를 적용함으로써 각 개체의 훈련 시간을 단축시켜 정확도를 희생시키지 않고도 더 빠른 수렴을 가능하게 한다.

Figure 2: Net2Net transformation: new nodes and connecting weights are shown in red color