[論文レビュー] Crafting Adversarial Examples for Deep Learning Based Prognostics (Extended Version)

Gautam Raj Mode, Khaza Anuarul Hoque|arXiv (Cornell University)|Sep 21, 2020

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿は、産業システムにおける深層学習ベースの予後管理に悪意ある攻撃を導入し、FGSMおよびBIMを用いてセンサデータに摂動を加えることで、LSTM、GRU、CNNモデルにおけるRUL推定性能を著しく低下させることを示している。わずかで目に見えない摂動でも、残存耐用期間の予測に顕著な誤差を引き起こすことが実証されており、BIMは攻撃効果が強く、悪意ある例はモデル間で顕著な転送性を示している。

ABSTRACT

In manufacturing, unexpected failures are considered a primary operational risk, as they can hinder productivity and can incur huge losses. State-of-the-art Prognostics and Health Management (PHM) systems incorporate Deep Learning (DL) algorithms and Internet of Things (IoT) devices to ascertain the health status of equipment, and thus reduce the downtime, maintenance cost and increase the productivity. Unfortunately, IoT sensors and DL algorithms, both are vulnerable to cyber attacks, and hence pose a significant threat to PHM systems. In this paper, we adopt the adversarial example crafting techniques from the computer vision domain and apply them to the PHM domain. Specifically, we craft adversarial examples using the Fast Gradient Sign Method (FGSM) and Basic Iterative Method (BIM) and apply them on the Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and Convolutional Neural Network (CNN) based PHM models. We evaluate the impact of adversarial attacks using NASA's turbofan engine dataset. The obtained results show that all the evaluated PHM models are vulnerable to adversarial attacks and can cause a serious defect in the remaining useful life estimation. The obtained results also show that the crafted adversarial examples are highly transferable and may cause significant damages to PHM systems.

研究の動機と目的

• 深層学習ベースの予後管理（PHM）システムにおける、悪意ある攻撃に対する脆弱性を調査すること。
• コンピュータビジョン分野で用いられる悪意ある例生成技術（特にFGSMおよびBIM）を、実際のセンサデータを用いてPHM分野に適応させること。
• LSTM、GRU、CNNといった複数の深層学習アーキテクチャにおける、悪意ある摂動がRUL推定精度に与える影響を評価すること。
• 異なるPHMモデル間での悪意ある例の転送性を分析し、ブラックボックス攻撃シナリオを模擬すること。
• 特に安全が重要な応用分野において、悪意ある攻撃が産業用IoTおよび深層学習システムに及える深刻なセキュリティリスクを強調すること。

提案手法

• 損失関数の勾配に基づき、入力センサデータに小さな標的付き摂動を加えることで悪意ある例を生成するため、高速勾配符号法（FGSM）を採用した。
• FGSMよりも攻撃成功率と頑健性が向上するよう、繰り返し的小さな摂動を適用する基本反復法（BIM）を適用した。
• NASAのC-MAPSSジェットエンジンデータセットを用い、LSTM、GRU、CNNの3つの深層学習モデルを訓練および評価し、部分的なRUL予測を実施した。
• RUL予測性能の低下を定量的に評価するために、RMSE指標を用いた。
• 攻撃対象となるモデルのアーキテクチャやパラメータにアクセスできない状況を想定し、あるモデルで生成した悪意ある例を他のモデルに適用することで、転送性を評価した。
• 摂動の大きさ（ε）を変化させたアブレーションスタディを実施し、攻撃効果およびモデル性能の低下に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 FGSMおよびBIM技術を用いて生成された悪意ある例は、深層学習ベースのPHMモデルにおけるRUL予測精度を著しく低下させるか？
• RQ2 LSTM、GRU、CNNといった異なる深層学習アーキテクチャにおいて、FGSMおよびBIM攻撃のRMSE低下度合いはどのように比較されるか？
• RQ3 悪意ある例は、特にブラックボックス攻撃シナリオにおいて、1つのPHMモデルから別のモデルへどの程度転送可能か？
• RQ4 摂動の大きさ（ε）は、悪意ある攻撃におけるRUL予測誤差の深刻さにどのように影響するか？
• RQ5 PHMシステムにはモデル固有の脆弱性があるか。また、どのアーキテクチャが悪意ある摂動に対して最も感受性を示すか？

主な発見

• BIM攻撃はFGSMよりも顕著に高いRMSEを示し、ε = 1.2の条件下でGRUモデルにおいて53.67 vs. 32.63を記録し、攻撃効果が優れていることが示された。
• CNNモデルで生成された悪意ある例は最も高い転送性を示し、GRUモデルに転送された際、RMSEがほぼ2倍に上昇した（24.12 vs. 12.23）。
• GRUモデルは攻撃下で欺瞞的な挙動を示し、BIM攻撃下で最大129時間サイクルにわたりRUL推定値がほぼ一定を保ったため、危険な保守遅延を引き起こす可能性があった。
• 評価されたすべてのPHMモデル（LSTM、GRU、CNN）は悪意ある攻撃に対して脆弱であり、わずかな摂動でもRUL推定精度が著しく低下した。
• 悪意ある例の転送性はモデル間で一貫して高く、攻撃者は代替モデルで生成した例を用いて、アーキテクチャやパラメータが不明な未知のモデルを効果的に標的にできることが示された。
• 本研究は、深層学習ベースのPHMシステムが悪意ある攻撃に対して極めて感受性を示すことを確認しており、産業の安全性および運用継続性に深刻なリスクをもたらすことが明らかになった。