[論文レビュー] False Data Injection Attacks in Internet of Things and Deep Learning enabled Predictive Analytics

Gautam Raj Mode, Prasad Calyam+1 more|arXiv (Cornell University)|Oct 3, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 16

ひとこと要約

本稿は、C-MAPSSターボファンエンジンデータセットを用いて、IoT対応産業環境における深層学習ベースの予知保全（PdM）システムに対する偽装データインジェクション攻撃（FDIA）の影響を調査する。わずかなセンサー水準のFDIAですら、LSTM、GRU、CNNモデルにおけるRUL予測精度を著しく低下させることを示しており、GRUが優れた耐性を示す一方で、シーケンス長、精度、攻撃耐性の間で重要なトレードオフが特定された。

ABSTRACT

Industry 4.0 is the latest industrial revolution primarily merging automation with advanced manufacturing to reduce direct human effort and resources. Predictive maintenance (PdM) is an industry 4.0 solution, which facilitates predicting faults in a component or a system powered by state-of-the-art machine learning (ML) algorithms and the Internet-of-Things (IoT) sensors. However, IoT sensors and deep learning (DL) algorithms, both are known for their vulnerabilities to cyber-attacks. In the context of PdM systems, such attacks can have catastrophic consequences as they are hard to detect due to the nature of the attack. To date, the majority of the published literature focuses on the accuracy of DL enabled PdM systems and often ignores the effect of such attacks. In this paper, we demonstrate the effect of IoT sensor attacks on a PdM system. At first, we use three state-of-the-art DL algorithms, specifically, Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and Convolutional Neural Network (CNN) for predicting the Remaining Useful Life (RUL) of a turbofan engine using NASA's C-MAPSS dataset. The obtained results show that the GRU-based PdM model outperforms some of the recent literature on RUL prediction using the C-MAPSS dataset. Afterward, we model two different types of false data injection attacks (FDIA) on turbofan engine sensor data and evaluate their impact on CNN, LSTM, and GRU-based PdM systems. The obtained results demonstrate that FDI attacks on even a few IoT sensors can strongly defect the RUL prediction. However, the GRU-based PdM model performs better in terms of accuracy and resiliency. Lastly, we perform a study on the GRU-based PdM model using four different GRU networks with different sequence lengths. Our experiments reveal an interesting relationship between the accuracy, resiliency and sequence length for the GRU-based PdM models.

研究の動機と目的

• IoT対応産業システムにおける深層学習ベースの予知保全（PdM）システムのFDIAに対する脆弱性を分析すること。
• NASA C-MAPSSデータセットを用いて、LSTM、GRU、CNNモデルの残存耐用期間（RUL）予測性能を評価すること。
• センサデータに2種類のFDIA（継続的および一時的）をモデル化し、それらがRUL予測精度に与える影響を評価すること。
• GRUベースのPdMモデルにおけるシーケンス長、モデル精度、FDIA耐性との関係を調査すること。
• 精度とセキュリティのバランスを取ることで、攻撃に耐性のある堅牢なPdMシステムの設計指針を実証的に提供すること。

提案手法

• LSTM、GRU、CNNの3つの最先端の深層学習モデルを、C-MAPSSデータセット上でトレーニングし、ターボファンエンジンのRULを予測した。
• 2種類の偽装データインジェクション攻撃（FDIA）をモデル化した：継続的（持続的改ざん）および一時的（周期的改ざん）のセンサデータへの攻撃。
• 攻撃は少数のセンサに適用され、その結果得られたRUL予測値を真値と比較して、性能低下を測定した。
• シーケンス長（10、30、50、100）を変化させた4つのGRUネットワークをトレーニングおよび評価し、シーケンス長が精度と耐性に与える影響を調査した。
• 性能はRMSE（平均二乗誤差）を用いて定量的に評価し、時間経過に伴う攻撃効果を可視化するために、ピースワイズRUL予測を用いた。
• ランダムおよびバイアス付きFDIAシナリオの下でのモデルの耐性を評価するための比較評価フレームワークを採用した。

実験結果

リサーチクエスチョン

• RQ1 継続的および一時的FDIAは、LSTM、GRU、CNNベースのPdMシステムにおけるRUL予測精度にどのように影響を与えるか？
• RQ2 LSTM、GRU、CNNのうち、どの深層学習アーキテクチャがPdM応用において最も高いFDIA耐性を示すか？
• RQ3 GRUベースのPdMモデルにおいて、シーケンス長と精度・耐性の組み合わせ性能の関係は何か？
• RQ4 少数のセンサに対するFDIAは、深層学習ベースの予知保全システムの信頼性をどの程度損なうか？
• RQ5 シーケンス長の変動に関する実証的知見は、敵対的条件下でのより堅牢で正確なPdMシステムの設計を導くのに役立つか？

主な発見

• GRUベースのPdMモデルは、C-MAPSSデータセットにおいて最近の文献を上回る性能を示し、LSTMおよびCNNモデルよりも低いRMSEを達成した。
• 継続的FDIAは、CNNモデルのRMSEを真値の6倍まで、GRUモデルのRMSEを真値の8倍まで増加させた。
• 一時的FDIAは、CNNモデルのRMSEを真値の18倍まで、GRUモデルのRMSEを真値の4倍まで増加させた。
• GRUベースのモデルは、ランダムおよびバイアス付きFDIAの両方に対して優れた耐性を示し、LSTMおよびCNNを上回る攻撃耐性を示した。
• GRU3（シーケンス長50）は、わずかにGRU2（シーケンス長30）より精度が低いものの、精度と耐性のバランスが最良であった。
• シーケンス長、モデル精度、FDIA耐性の間に顕著なトレードオフが観察されたことから、シーケンス長は安全なPdMシステム設計における重要な設計パrameterであると示された。