[論文レビュー] Anomaly Detection through Transfer Learning in Agriculture and Manufacturing IoT Systems

Mustafa Abdallah, Wo Jae Lee+4 more|arXiv (Cornell University)|Feb 11, 2021

Anomaly Detection Techniques and Applications参考文献 44被引用数 14

ひとこと要約

本稿では、デジタル農業およびスマート製造におけるIoTシステムのための転移学習ベースの異常検出フレームワークを提案する。高レートのセンサデータ（例：圧電素子）を活用して、低レートのセンサ（例：MEMS）の検出性能を向上させる。転移学習が分類精度を顕著に向上させることを示しており、特に準故障状態において顕著である。LSTMは、長時間のトレーニングを要するが、ARIMAに比べて異常予測において優れた性能を発揮する。

ABSTRACT

IoT systems have been facing increasingly sophisticated technical problems due to the growing complexity of these systems and their fast deployment practices. Consequently, IoT managers have to judiciously detect failures (anomalies) in order to reduce their cyber risk and operational cost. While there is a rich literature on anomaly detection in many IoT-based systems, there is no existing work that documents the use of ML models for anomaly detection in digital agriculture and in smart manufacturing systems. These two application domains pose certain salient technical challenges. In agriculture the data is often sparse, due to the vast areas of farms and the requirement to keep the cost of monitoring low. Second, in both domains, there are multiple types of sensors with varying capabilities and costs. The sensor data characteristics change with the operating point of the environment or machines, such as, the RPM of the motor. The inferencing and the anomaly detection processes therefore have to be calibrated for the operating point. In this paper, we analyze data from sensors deployed in an agricultural farm with data from seven different kinds of sensors, and from an advanced manufacturing testbed with vibration sensors. We evaluate the performance of ARIMA and LSTM models for predicting the time series of sensor data. Then, considering the sparse data from one kind of sensor, we perform transfer learning from a high data rate sensor. We then perform anomaly detection using the predicted sensor data. Taken together, we show how in these two application domains, predictive failure classification can be achieved, thus paving the way for predictive maintenance.

研究の動機と目的

• デジタル農業におけるスパarsなセンサデータとスマート製造における可変なセンサ特性の課題に対処する。
• 高レートのセンサデータを活用して、低サンプリングレートのセンサにおける異常検出を向上させる転移学習手法を開発する。
• 実世界のIoTシステムにおける時系列予測および異常検出において、LSTMとARIMAモデルの性能を評価・比較する。
• 特に準故障状態において、転移学習とデータ拡張を用いて故障分類の正確性を向上させる。
• 産業システムにおける異なる作動点（例：モーターの回転数RPM）に合わせて異常検出をキャリブレーションすることで予測保全を可能にする。

提案手法

• 農業および製造業のIoT導入環境から得られるセンサ時系列データを予測するために、LSTMおよび準教師ありARIMAモデルを用いる。
• 高レートの圧電素子センサデータで事前学習した深層ニューラルネットワークを用い、その後低レートのMEMSセンサデータでファインチューニングすることで転移学習を実装する。
• 製造テストベッドにおける異なる作動点（例：300–380 RPM）に合わせて異常検出モデルをキャリブレーションし、センサ特性の変化に対応する。
• 特にレアまたは準故障状態におけるモデル一般化性能を向上させるために、データ拡張技術を実装する。
• あるRPMで学習したバイナリ分類モデルを、他のRPMでの異常検出に適用し、異なる作動点間での性能を評価する。
• 複数のRPMおよび欠陥タイプにおいて、混同行列と平均正答率の報告を含め、正答率指標を用いてモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 高レートのセンサデータを活用することで、転移学習が低サンプリングレートのセンサにおける異常検出性能を向上させることができるか？
• RQ2 LSTMとARIMAモデルは、農業および製造業におけるIoTシステムのセンサ時系列予測および異常検出において、どのように比較されるか？
• RQ3 特に準故障状態において、転移学習が故障分類の正確性をどの程度向上させるか？
• RQ4 スマート製造システムにおける異なる作動点（例：RPM）において、モデル性能はどのように変化するか？
• RQ5 データ拡張技術は、センサデータにおけるレアまたは初期故障モードの検出を向上させることができるか？

主な発見

• 高レートの圧電素子センサデータを活用することで、転移学習が低レートのMEMSセンサにおける分類精度を顕著に向上させており、特に準故障状態で最も顕著な向上が観察された。
• あるRPMで学習したバイナリ分類モデルが他のRPMでテストされた際の平均正答率は、RPM-320で88.82%、RPM-340で95.12%、RPM-360で95.46%、RPM-380で89.07%に達し、優れた作動点間一般化性能を示した。
• LSTMは、長時間のトレーニングを要するが、ARIMAに比べて異常検出において優れた性能を示し、高い予測正答率を達成した。
• データ拡張により予測性能が向上し、特に準故障モードにおいて顕著な改善が見られた。これは、希少事象の検出においてデータ拡張の価値を示している。
• 転移学習モデルは、同じRPMで学習した場合に100%の正答率を達成しており、ドメイン内での強い性能を示した。
• 本研究では、作動点のキャリブレーションが不可欠であることが確認された。なぜなら、センサデータの特性はRPMに大きく依存しており、モデルは再学習または適応が必要であるからである。