[논문 리뷰] Neural Architecture Search For Fault Diagnosis

Xudong Li, Yang Hu외 2명|arXiv (Cornell University)|2020. 02. 19.

Machine Fault Diagnosis Techniques참고 문헌 22인용 수 8

한 줄 요약

이 논문은 강화학습을 사용한 신경망 아키텍처 탐색(NAS)을 고장 진단에 처음으로 적용한 것으로, 순환신경망 컨트롤러가 ResNet 기반의 검색 공간 내에서 딥러닝 아키텍처를 생성한다. 이 방법은 PHM 2009 기어박스 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 검색된 모델이 수동으로 설계된 모델보다 최대 2.69%p 높은 78.91%의 정확도를 기록하였다. 또한 파라미터 공유를 활용하여 검색 속도를 빠르게 하였다.

ABSTRACT

Data-driven methods have made great progress in fault diagnosis, especially deep learning method. Deep learning is suitable for processing big data, and has a strong feature extraction ability to realize end-to-end fault diagnosis systems. However, designing neural network architecture requires rich professional knowledge and debugging experience, and a lot of experiments are needed to screen models and hyperparameters, increasing the difficulty of developing deep learning models. Frortunately, neural architecture search (NAS) is developing rapidly, and is becoming one of the next directions for deep learning. In this paper, we proposed a NAS method for fault diagnosis using reinforcement learning. A recurrent neural network is used as an agent to generate network architecture. The accuracy of the generated network on the validation dataset is fed back to the agent as a reward, and the parameters of the agent are updated through the strategy gradient algorithm. We use PHM 2009 Data Challenge gearbox dataset to prove the effectiveness of proposed method, and obtain state-of-the-art results compared with other artificial designed network structures. To author's best knowledge, it's the first time that NAS has been applied in fault diagnosis.

연구 동기 및 목표

• 고장 진단을 위한 딥러닝 모델 설계를 자동화하여 전문가 지식과 광범위한 초모수 튜닝에 대한 의존도를 줄이기 위해.
• 자동 모델 발견이 아직 탐색이 부족한 분야인 고장 진단에 신경망 아키텍처 탐색(NAS)을 적용하기 위해.
• 고성능의 종단 간(end-to-end) 고장 진단 아키텍처를 발견할 수 있는 강화학습 기반의 NAS 프레임워크를 개발하기 위해.
• 수동으로 설계된 딥러닝 모델과 비교하여 NAS가 진단 정확도 향상에 얼마나 효과적인지 평가하기 위해.

제안 방법

• 순환신경망(RNN)이 사전 정의된 검색 공간에서 연산(예: 커널 크기, 확장률)을 샘플링하여 신경망 아키텍처를 생성하는 컨트롤러로 기능한다.
• 컨트롤러는 정책 기반 최적화 방식으로 학습되며, 생성된 아키텍처의 검증 정확도가 보상 신호로 사용된다.
• 자식 네트워크 간에 파라미터 공유를 적용하여 검색 중에 여러 아키텍처를 훈련하고 평가하는 데 드는 계산 비용을 크게 줄였다.
• 검색 공간은 잔차 블록 구조를 기반으로 정의되며, 다양한 커널 크기(k=3,5)와 확장률(d=1,2,3)를 포함한 연산이 포함된다.
• 훈련 과정은 컨트롤러에서 아키텍처를 샘플링하고, 훈련 세트에서 훈련한 후 검증 정확도에 따라 컨트롤러를 업데이트하는 방식으로 번갈아가며 수행된다.
• 프레임워크는 테슬라 K80 GPU에서 파이토치를 사용해 구현되었으며, 전체 검색 과정에 1.6시간이 소요되었다.

실험 결과

연구 질문

• RQ1 강화학습 기반의 신경망 아키텍처 탐색이 고장 진단을 위한 고성능 딥러닝 아키텍처를 효과적으로 발견할 수 있는가?
• RQ2 NAS로 생성된 모델의 성능은 고장 진단 작업에서 수동으로 설계된 모델과 비교해 어떻게 다른가?
• RQ3 파라미터 공유가 고장 진단 분야에서 아키텍처 품질을 손상시키지 않고 검색 시간을 얼마나 줄일 수 있는가?
• RQ4 특히 모델 복잡도, 효율성, 구현 제약 조건을 고려할 때, NAS를 산업용 고장 진단에 적용할 때의 주요 과제는 무엇인가?
• RQ5 NAS는 고정된 아키텍처(예: ResNet)를 초월하여 더 효율적이고 정확도가 높은 새로운 아키텍처를 발견하는 데 확장될 수 있는가?

주요 결과

• NAS로 생성된 모델은 테스트 정확도 78.91%를 달성하여, 최대 76.22%에 이르는 여섯 가지 수동으로 설계된 ResNet 변종을 모두 능가하였다.
• 샘플링된 아키텍처의 검증 정확도가 검색 에포크 동안 꾸준히 증가하여 컨트롤러의 정책 학습이 효과적으로 이루어졌음을 나타냈다.
• 파라미터 공유의 활용으로 검색 시간이 크게 단축되어, 단일 GPU에서 전체 검색 과정이 1.6시간 내에 완료되었다.
• 결과는 NAS가 아키텍처 설계 과정을 자동화하고 전문가가 설계한 모델 대비 뛰어난 일반화 성능을 가진 모델을 도출할 수 있음을 보여주었다.
• 이 연구는 모델 효율성(파라미터 수 및 FLOPs), 고정된 아키텍처를 초월한 확장성, 전체 머신러닝 파이프라인에서의 보다 넓은 자동화 필요성 등 NAS 고장 진단 적용 시의 핵심 과제를 규명하였다.