[논문 리뷰] False Data Injection Attacks in Internet of Things and Deep Learning enabled Predictive Analytics

Gautam Raj Mode, Prasad Calyam외 1명|arXiv (Cornell University)|2019. 10. 03.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 16

한 줄 요약

이 논문은 인터넷 기반 산업 환경에서의 딥러닝 기반 예측 정비(PdM) 시스템에 대한 가짜 데이터 주입 공격(FDIA)의 영향을 조사한다. C-MAPSS 터보팬 엔진 데이터셋을 사용하여, 조그만 수준의 센서 기반 FDIA라도 LSTM, GRU, CNN 모델의 RUL 예측 정확도를 심각하게 떨어뜨리는 것으로 밝혀졌다. 특히 GRU 모델은 뛰어난 내성성을 보였으며, 시퀀스 길이, 정확도, 공격 내성 간의 핵심적 트레이드오프가 확인되었다.

ABSTRACT

Industry 4.0 is the latest industrial revolution primarily merging automation with advanced manufacturing to reduce direct human effort and resources. Predictive maintenance (PdM) is an industry 4.0 solution, which facilitates predicting faults in a component or a system powered by state-of-the-art machine learning (ML) algorithms and the Internet-of-Things (IoT) sensors. However, IoT sensors and deep learning (DL) algorithms, both are known for their vulnerabilities to cyber-attacks. In the context of PdM systems, such attacks can have catastrophic consequences as they are hard to detect due to the nature of the attack. To date, the majority of the published literature focuses on the accuracy of DL enabled PdM systems and often ignores the effect of such attacks. In this paper, we demonstrate the effect of IoT sensor attacks on a PdM system. At first, we use three state-of-the-art DL algorithms, specifically, Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and Convolutional Neural Network (CNN) for predicting the Remaining Useful Life (RUL) of a turbofan engine using NASA's C-MAPSS dataset. The obtained results show that the GRU-based PdM model outperforms some of the recent literature on RUL prediction using the C-MAPSS dataset. Afterward, we model two different types of false data injection attacks (FDIA) on turbofan engine sensor data and evaluate their impact on CNN, LSTM, and GRU-based PdM systems. The obtained results demonstrate that FDI attacks on even a few IoT sensors can strongly defect the RUL prediction. However, the GRU-based PdM model performs better in terms of accuracy and resiliency. Lastly, we perform a study on the GRU-based PdM model using four different GRU networks with different sequence lengths. Our experiments reveal an interesting relationship between the accuracy, resiliency and sequence length for the GRU-based PdM models.

연구 동기 및 목표

• 딥러닝 기반 예측 정비(PdM) 시스템이 인터넷 기반 산업 환경에서 가짜 데이터 주입 공격(FDIA)에 얼마나 취약한지 분석하기.
• 나사 C-MAPSS 데이터셋을 사용하여 LSTM, GRU, CNN 모델이 터보팬 엔진의 잔여 수명(RUL)을 예측하는 성능을 평가하기.
• 센서 데이터에 대해 두 가지 유형의 FDIA—지속적 및 일시적—를 모델링하고 적용한 후, RUL 예측 정확도에 미치는 영향을 평가하기.
• GRU 기반 PdM 모델에서 시퀀스 길이, 정확도, FDIA에 대한 내성성 간의 관계를 조사하기.
• 정확도와 보안을 균형 잡는 데 도움이 되는 실증적 지침을 제공하여 공격에 강건한 PdM 시스템 설계를 위한 기반 마련하기.

제안 방법

• LSTM, GRU, CNN이라는 세 가지 최신 딥러닝 모델을 C-MAPSS 데이터셋에 훈련시켜 터보팬 엔진의 잔여 수명(RUL)을 예측하였다.
• 두 가지 유형의 가짜 데이터 주입 공격(FDIA)을 모델링하였다: 지속적(지속적인 조작) 및 일시적(주기적 조작) 센서 데이터 조작.
• 공격은 소수의 센서에 적용되었으며, 결과적으로 도출된 RUL 예측값을 참값과 비교하여 성능 저하 정도를 측정하였다.
• 다양한 시퀀스 길이(10, 30, 50, 100)를 가진 네 개의 GRU 네트워크를 훈련하고 평가하여 시퀀스 길이가 정확도와 내성성에 미치는 영향을 분석하였다.
• 성능은 RMSE(근방제곱오차의 평균)로 정량화하였으며, 공격 영향을 시간에 따라 시각화하기 위해 조각별 RUL 예측 방식을 사용하였다.
• 무작위 및 편향된 FDIA 시나리오 하에서 모델의 내성성을 평가하기 위해 비교 평가 프레임워크를 사용하였다.

실험 결과

연구 질문

• RQ1 지속적 및 일시적 가짜 데이터 주입 공격이 LSTM, GRU, CNN 기반 PdM 시스템의 RUL 예측 정확도에 어떤 영향을 미치는가?
• RQ2 LSTM, GRU, CNN 중 어느 딥러닝 아키텍처가 PdM 응용 분야에서 FDIA에 가장 높은 내성성을 보이는가?
• RQ3 GRU 기반 PdM 모델에서 시퀀스 길이와 정확도 및 내성성의 병합 성능 간의 관계는 어떠한가?
• RQ4 소수의 센서에 대한 FDIA가 딥러닝 기반 예측 정비 시스템의 신뢰성에 얼마나 심각하게 영향을 미치는가?
• RQ5 시퀀스 길이 변화에 기반한 실증적 통찰은 공격 조건 하에서 더 강건하고 정확한 PdM 시스템 설계를 이끌 수 있는가?

주요 결과

• GRU 기반 PdM 모델은 C-MAPSS 데이터셋에서 최근 문헌에 비해 뛰어난 성능을 보였으며, LSTM 및 CNN 모델보다 낮은 RMSE를 기록하였다.
• 지속적 FDIA는 CNN 모델의 RMSE를 참값 대비 최대 6배로 증가시켰고, GRU 모델의 경우 최대 8배로 증가시켰다.
• 일시적 FDIA는 CNN 모델의 RMSE를 참값 대비 최대 18배로 증가시켰고, GRU 모델의 경우 최대 4배로 증가시켰다.
• GRU 기반 모델은 무작위 및 편향된 FDIA 모두에 대해 뛰어난 내성성을 보였으며, 공격 내성 측면에서 LSTM 및 CNN을 모두 능가하였다.
• GRU3(시퀀스 길이 50)는 정확도가 약간 낮지만 GRU2(시퀀스 길이 30)보다 정확도와 내성성 간의 최적 균형을 이룩하였다.
• 시퀀스 길이, 모델 정확도, FDIA에 대한 내성성 간에 뚜렷한 트레이드오프가 관찰되었으며, 이는 시퀀스 길이가 안전한 PdM 시스템 설계에 핵심적인 설계 매개변수임을 시사한다.