[논문 리뷰] Time-Series Classification in Smart Manufacturing Systems: An Experimental Evaluation of State-of-the-Art Machine Learning Algorithms

Mojtaba A. Farahani, Matt McCormick외 2명|arXiv (Cornell University)|2023. 10. 04.

Time Series Analysis and Forecasting참고 문헌 93인용 수 4

한 줄 요약

이 연구는 스마트 제조 시스템에서 시계열 분류(TSC)를 위한 최신 기계학습 및 딥러닝 알고리즘을 평가한다. 22개의 다양한 제조 데이터셋을 사용하여 ResNet, DrCIF, InceptionTime, ARSENAL이 상위 성능을 보이며 평균 정확도 96.6% 이상을 달성함을 확인하였으며, 이는 산업용 시계열 데이터에서 시간 패턴을 포착하는 데에 컨볼루션 커널의 효과성을 입증한다.

ABSTRACT

Manufacturing is gathering extensive amounts of diverse data, thanks to the growing number of sensors and rapid advances in sensing technologies. Among the various data types available in SMS settings, time-series data plays a pivotal role. Hence, TSC emerges is crucial in this domain. The objective of this study is to fill this gap by providing a rigorous experimental evaluation of the SoTA ML and DL algorithms for TSC tasks in manufacturing and industrial settings. We first explored and compiled a comprehensive list of more than 92 SoTA algorithms from both TSC and manufacturing literature. Following, we selected the 36 most representative algorithms from this list. To evaluate their performance across various manufacturing classification tasks, we curated a set of 22 manufacturing datasets, representative of different characteristics that cover diverse manufacturing problems. Subsequently, we implemented and evaluated the algorithms on the manufacturing benchmark datasets, and analyzed the results for each dataset. Based on the results, ResNet, DrCIF, InceptionTime, and ARSENAL are the top-performing algorithms, boasting an average accuracy of over 96.6% across all 22 manufacturing TSC datasets. These findings underscore the robustness, efficiency, scalability, and effectiveness of convolutional kernels in capturing temporal features in time-series data, as three out of the top four performing algorithms leverage these kernels for feature extraction. Additionally, LSTM, BiLSTM, and TS-LSTM algorithms deserve recognition for their effectiveness in capturing features within time-series data using RNN-based structures.

연구 동기 및 목표

• 산업 제조 환경에서 최신 기계학습 알고리즘의 시계열 분류(TSC)에 대한 경험적 평가 부족을 보완하기 위해.
• 다양한 제조 데이터 특성에 걸쳐 36개의 대표적 최신 TSC 알고리즘 세트를 편성하고 평가하기 위해.
• 실제 산업 문제를 대표하는 22개의 실세계 제조 시계열 데이터셋으로 구성된 기준 데이터셋 컬렉션을 구축하기 위해.
• 딥러닝 및 전통적 기계학습 모델의 성능, 내성성, 확장성에 대한 비교를 위해.
• 특히 시간 특징 추출에 중점을 두어 산업용 시계열 분류에 가장 효과적인 아키텍처와 기법을 규명하기 위해.

제안 방법

• 최근 문헌에서 유래한 92개의 최신 TSC 및 제조 전용 알고리즘 목록을 철저히 정리하였다.
• 다양성, 출판 영향력, 산업 적용 관련성 기준으로 36개의 대표적 알고리즘을 선정하였다.
• 다양한 산업 공정과 고장 유형을 포함하는 22개의 실세계 제조 시계열 데이터셋을 수집하고 정제하였다.
• 모든 36개의 알고리즘을 22개의 데이터셋 전반에 걸쳐 표준화된 학습, 검증, 테스트 프로토콜을 사용해 구현하고 평가하였다.
• 정확도를 포함한 일관된 평가 지표를 적용하여 다양한 모델 간 공정한 비교를 확보하였다.
• 모델 아키텍처, 특히 컨볼루션 구조 대 대비 순환 구조의 영향을 분석하기 위해 아블레이션 및 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 실세계 제조 시계열 데이터셋에서 최신 기계학습 및 딥러닝 모델 중 어떤 것이 가장 높은 분류 정확도를 달성하는가?
• RQ2 컨볼루션 신경망 기반 모델과 순환 신경망 기반 모델은 산업 TSC 과제에서 성능 측면에서 어떻게 비교되는가?
• RQ3 특히 컨볼루션 커널의 사용을 포함한 아키텍처 설계의 상대적 영향은 제조 환경에서 TSC 성능에 어떤가?
• RQ4 길이, 차원 수, 노이즈 수준 등 다양한 특성을 가진 데이터셋에서 상위 성능 모델의 내성성과 확장성은 어떠한가?
• RQ5 다양한 산업용 시계열 분류 문제에서 일관되게 다른 모델들보다 뛰어난 성능을 보이는 모델은 무엇인가?

주요 결과

• ResNet, DrCIF, InceptionTime, ARSENAL은 22개의 제조 TSC 데이터셋 전반에서 평균 정확도 96.6% 이상을 달성하여 최상위 성능을 보였다.
• 상위 4개 모델 중 3개(ResNet, DrCIF, InceptionTime)는 컨볼루션 커널에 의존하며, 이는 산업용 시계열 데이터에서 의미 있는 시간 특징을 추출하는 데에 이러한 아키텍처의 뛰어난 능력을 입증한다.
• LSTM, BiLSTM, TS-LSTM 모델은 강력한 성능을 보이며, 이는 순환 아키텍처가 시계열 데이터의 순차적 의존성을 모델링하는 데 효과적이라는 점을 확인한다.
• 연구 결과는 모델 성능가 데이터 특성에 매우 의존적이며, 컨볼루션 모델이 다양한 산업 데이터 유형에서 더 뛰어난 내성성을 보임을 확인한다.
• ARSENAL은 다수의 추정기로부터 예측을 집계하는 딥 앙상블 방법으로 높은 정확도를 달성하였으며, 이는 산업 TSC에서 앙상블 학습의 가치를 부각시킨다.
• 결과는 아키텍처 선택이 성능에 상당한 영향을 미치며, 특히 정확도와 확장성 측면에서 컨볼루션 모델이 대부분의 경우 순환 모델을 능가함을 시사한다.