[논문 리뷰] Fast and scalable neuroevolution deep learning architecture search for multivariate anomaly detection

Marcin Pietroń, Dominik Żurek외 2명|arXiv (Cornell University)|2021. 12. 10.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 다변량 이상 탐지용 깊이 신경망 오토인코더 아키텍처를 다수 수준 최적화를 사용해 진화시키는 빠르고 확장 가능한 신경진화 프레임워크인 AD-NEv를 제안한다. 각 특성 부분공간 별로 독립적으로 모델을 진화시키고, 기울기 기반 최적화를 사용하지 않고 미세조정을 적용하며, 앙상블 투표를 통해 SWAT, WADI, MSL, SMAP 데이터셋에서 기존 방법에 비해 훨씬 낮은 모델 복잡성과 학습 시간으로 최신 기술 수준의 F1 점수를 달성한다.

ABSTRACT

Neuroevolution is one of the methodologies that can be used for learning optimal architecture during training. It uses evolutionary algorithms to generate the topology of artificial neural networks and its parameters. The main benefits are that it is scalable and can be fully or partially non gradient method. In this work, a modified neuroevolution technique is presented which incorporates multi-level optimisation. The presented approach adapts evolution strategies for evolving an ensemble model based on the bagging technique, using genetic operators for optimising single anomaly detection models, reducing the training dataset to speedup the search process and perform non-gradient fine tuning. Multivariate anomaly detection as an unsupervised learning task is the case study upon which the presented approach is tested. Single model optimisation is based on mutation and crossover operators and is focused on finding optimal window sizes, the number of layers, layer depths, hyperparameters etc. to boost the anomaly detection scores of new and already known models. The proposed framework and its protocol shows that it is possible to find architecture within a reasonable time frame which can boost all well known multivariate anomaly detection deep learning architectures. The work concentrates on improvements to the multi-level neuroevolution approach for anomaly detection. The main modifications are in the methods of mixing groups and single model evolution, non-gradient fine tuning and a voting mechanism. The presented framework can be used as an efficient learning network architecture method for any different unsupervised task where autoencoder architectures can be used. The tests were run on SWAT, WADI, MSL and SMAP datasets and the presented approach evolved the architectures that achieved the best scores among other deep learning models.

연구 동기 및 목표

• 시간 시리즈 데이터에서 다변량 이상 탐지에 최적의 딥 러닝 아키텍처를 자동으로 발견하는 데 도전하는 것.
• 비기울기 최적화와 데이터 부분표본 기반 기반으로 신경망 아키텍처 탐색(NAS)의 계산 비용과 학습 시간을 줄이는 것.
• 각 특성 부분공간 별로 독립적으로 진화된 다양한 서브모델을 사용한 앙상블 학습을 통해 탐지 성능을 향상시키는 것.
• 신속한 적응과 미세조정이 가능한 확장 가능한 비기울기 아키텍처 탐색을 가능하게 하는 것.
• 기존 최신 기술 수준의 모델들, 특히 GAN 기반 및 그래프 신경망 접근 방식을 초월하는 것.

제안 방법

• 프레임워크는 각 부분공간 별로 별도의 집단을 사용하는 다수 수준의 신경진화 전략을 적용하며, 각 부분공간 내에서 개별 모델 아키텍처를 진화시킨다.
• 창시자 연산자(변형과 교차)를 사용하여 1D CNN 기반 오토인코더의 창시자 수준의 초모수(창시기 크기, 층 수, 층 깊이, 필터 수 등)를 최적화한다.
• 모델 진화 중 다양성을 촉진하기 위해 새로운 거리 측정 방법을 사용하여 앙상블 내 서브모델들이 상호보완적이도록 보장한다.
• 진화 후 비기울기 미세조정을 적용하여 역전파 없이 네트워크 가중치를 적응시켜 일반화 능력과 성능을 향상시킨다.
• 각각 다른 특성 부분집합에서 훈련된 최적화된 서브모델의 예측을 조합하는 투표 기반 메커니즘을 사용해 앙상블 모델을 구성한다.
• 모델 복잡성을 줄이기 위해 M(센서 수) 대신 K개의 서브모델을 사용하는 앙상블을 구성함으로써 K << M이 되도록 하여 메모리 및 계산 비용을 낮춘다.

실험 결과

연구 질문

• RQ1 비기울기 계산을 최소화하면서도 신경진화 기반 접근 방식이 다변량 이상 탐지용 깊이 오토인코더 아키텍처를 효율적으로 진화시킬 수 있는가?
• RQ2 특성 부분공간 별로 독립적으로 진화된 서브모델이 공유된 모델 아키텍처에 비해 탐지 성능을 얼마나 향상시키는가?
• RQ3 기울기 역전파 없이도 비기울기 미세조정이 진화된 아키텍처의 성능을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 낮은 계산 오버헤드를 유지하면서도 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 다양하고 진화된 서브모델 기반의 앙상블 투표 메커니즘이 전체 이상 탐지 F1 점수를 얼마나 향상시키는가?

주요 결과

• AD-NEv 프레임워크는 SWAT, WADI, MSL, SMAP 데이터셋에서 평가된 모든 모델 중 가장 높은 F1 점수를 기록했으며, GAN 기반 및 그래프 신경망 접근 방식을 포함한 최신 기술 수준의 모델들을 초월했다.
• SWAT 데이터셋의 최종 모델은 12층(에코더 3층, 디코더 3층)의 1D CNN 오토인코더를 사용했으며, 첫 번째 컨볼루션 레이어에 84개의 입력 채널을 가지며 최적의 재구성 및 이상 탐지 성능를 달성했다.
• WADI 모델은 첫 번째 레이어에 91개, 두 번째 레이어에 155개의 입력 채널을 가진 12층의 1D CNN을 진화시켜 센서가 많은 환경에 높은 적응성을 보였다.
• MSL 및 SMAP 모델은 각각 에코더 및 디코더 경로에 6개의 컨볼루션 레이어를 사용했으며, 입력 채널 수는 각각 205개와 155개로 고차원 데이터에 대해 강력한 일반화 능력을 보였다.
• 프레임워크는 M개의 서브모델 대신 K개의 서브모델(여기서 K << M)만 사용함으로써 모델 복잡성을 감소시켜 복잡성 감소 요소를 약 K/M 수준으로 낮추어 메모리 및 계산 비용을 크게 절감했다.
• 비기울기 미세조정 단계는 진화 후 모델 성능을 향상시켰으며, 역전파 없이도 가중치 적응이 탐지 정확도를 효과적으로 향상시킬 수 있음을 입증했다.