[論文レビュー] Time-Series Classification in Smart Manufacturing Systems: An Experimental Evaluation of State-of-the-Art Machine Learning Algorithms

Mojtaba A. Farahani, Matt McCormick+2 more|arXiv (Cornell University)|Oct 4, 2023

Time Series Analysis and Forecasting参考文献 93被引用数 4

ひとこと要約

本研究では、スマート製造システムにおける時系列分類（TSC）のための最先端の機械学習およびディープラーニングアルゴリズムを評価する。22種類の多様な製造分野のデータセットを用いて、ResNet、DrCIF、InceptionTime、ARSENALがトップパフォーマンスを示し、平均正解率が96.6％を超えることを特定した。これは、産業分野の時系列データにおける時間的パターンを捉えるために畳み込みカーネルが効果的であることを示している。

ABSTRACT

Manufacturing is gathering extensive amounts of diverse data, thanks to the growing number of sensors and rapid advances in sensing technologies. Among the various data types available in SMS settings, time-series data plays a pivotal role. Hence, TSC emerges is crucial in this domain. The objective of this study is to fill this gap by providing a rigorous experimental evaluation of the SoTA ML and DL algorithms for TSC tasks in manufacturing and industrial settings. We first explored and compiled a comprehensive list of more than 92 SoTA algorithms from both TSC and manufacturing literature. Following, we selected the 36 most representative algorithms from this list. To evaluate their performance across various manufacturing classification tasks, we curated a set of 22 manufacturing datasets, representative of different characteristics that cover diverse manufacturing problems. Subsequently, we implemented and evaluated the algorithms on the manufacturing benchmark datasets, and analyzed the results for each dataset. Based on the results, ResNet, DrCIF, InceptionTime, and ARSENAL are the top-performing algorithms, boasting an average accuracy of over 96.6% across all 22 manufacturing TSC datasets. These findings underscore the robustness, efficiency, scalability, and effectiveness of convolutional kernels in capturing temporal features in time-series data, as three out of the top four performing algorithms leverage these kernels for feature extraction. Additionally, LSTM, BiLSTM, and TS-LSTM algorithms deserve recognition for their effectiveness in capturing features within time-series data using RNN-based structures.

研究の動機と目的

• 産業的製造環境における時系列分類（TSC）のための最先端（SoTA）機械学習アルゴリズムの実証的評価の欠落を埋める。
• 多様な製造データの特徴に適合する36の代表的SoTA TSCアルゴリズムの包括的セットを収集・評価する。
• 産業的問題を代表する22の実世界の製造時系列データセットからなるベンチマークデータセットコレクションを構築する。
• ディープラーニングと従来の機械学習モデルの、産業的TSCタスクにおける性能、耐性、拡張性を比較する。
• 特に時間的特徴抽出に焦点を当て、産業的時系列分類において最も効果的なアーキテクチャと技術を特定する。

提案手法

• 最近の文献から92のSoTA TSCおよび製造分野特化型アルゴリズムの包括的リストを収集した。
• 多様性、論文の影響力、産業応用への関連性に基づき、36の代表的アルゴリズムを選定した。
• さまざまな産業プロセスと故障タイプをカバーする22の実世界の製造時系列データセットを収集・整備した。
• すべての22のデータセットにおいて、標準化された訓練・検証・テストプロトコルに従い、36のすべてのアルゴリズムを実装・評価した。
• 正解率を含む一貫した評価指標を適用し、モデル間の公平な比較を確保した。
• アーキテクチャの違い、特に畳み込み構造と再帰的構造の比較に基づくパフォーマンストレンドを特定するためのアブレーションと分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 実世界の製造時系列データセットにおいて、最先端の機械学習およびディープラーニングモデルの中で、どのモデルが最も高い分類正解率を達成するか？
• RQ2 産業的TSCタスクにおいて、畳み込みニューラルネットワークベースのモデルと再帰的ニューラルネットワークベースのモデルの性能はどのように比較されるか？
• RQ3 特に畳み込みカーネルの使用を含むアーキテクチャ設計の相対的影響は、製造分野のTSCパフォーマンスにどのように及ぶか？
• RQ4 長さ、次元数、ノイズレベルの異なるデータセットにおいて、トップパフォーマンスモデルの耐性と拡張性はどの程度か？
• RQ5 どのようなモデルが、多様な産業的時系列分類問題において一貫して他のモデルを上回るか？

主な発見

• ResNet、DrCIF、InceptionTime、ARSENALは、22のすべての製造TSCデータセットで平均正解率が96.6％を超えることを達成し、トップパフォーマンスモデルとして確立された。
• 上位4つのモデルのうち3つ（ResNet、DrCIF、InceptionTime）が畳み込みカーネルに依存しており、産業的時系列データから意味のある時間的特徴を抽出する能力が優れていることを示している。
• LSTM、BiLSTM、TS-LSTMモデルは強力なパフォーマンスを示し、時間的系列依存性をモデル化する再帰的アーキテクチャの有効性を確認した。
• 本研究では、モデルのパフォーマンスがデータの特性に強く依存することを確認した。特に、畳み込みモデルは多様な産業データタイプに対してより高い耐性を示した。
• ARSENALは、複数の推定器からの予測を集約するディープアンサンブル手法であり、産業的TSCにおけるアンサンブル学習の価値を強調した。
• 結果から、アーキテクチャの選択がパフォーマンスに顕著な影響を与えることが示された。特に正解率と拡張性の観点で、畳み込みモデルが再帰的モデルを上回る傾向が顕著であった。