[논문 리뷰] Crafting Adversarial Examples for Deep Learning Based Prognostics (Extended Version)

Gautam Raj Mode, Khaza Anuarul Hoque|arXiv (Cornell University)|2020. 09. 21.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 산업 시스템의 딥러닝 기반 예측 유지보수에 대해 FGSM 및 BIM을 사용하여 센서 데이터에 편향을 가해 RUL 추정 성능을 심각하게 악화시키는 적대적 공격을 제안한다. 심지어 미세하고 눈에 띄지 않는 편향이라도 LSTM, GRU, CNN 모델 전반에서 잔여 수명 예측에 심각한 오차를 유발할 수 있음을 입증한다. BIM은 더 강력한 공격 효과를 보이며, 적대적 예제는 다양한 모델 간에 매우 높은 이동성(transferability)을 보인다.

ABSTRACT

In manufacturing, unexpected failures are considered a primary operational risk, as they can hinder productivity and can incur huge losses. State-of-the-art Prognostics and Health Management (PHM) systems incorporate Deep Learning (DL) algorithms and Internet of Things (IoT) devices to ascertain the health status of equipment, and thus reduce the downtime, maintenance cost and increase the productivity. Unfortunately, IoT sensors and DL algorithms, both are vulnerable to cyber attacks, and hence pose a significant threat to PHM systems. In this paper, we adopt the adversarial example crafting techniques from the computer vision domain and apply them to the PHM domain. Specifically, we craft adversarial examples using the Fast Gradient Sign Method (FGSM) and Basic Iterative Method (BIM) and apply them on the Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and Convolutional Neural Network (CNN) based PHM models. We evaluate the impact of adversarial attacks using NASA's turbofan engine dataset. The obtained results show that all the evaluated PHM models are vulnerable to adversarial attacks and can cause a serious defect in the remaining useful life estimation. The obtained results also show that the crafted adversarial examples are highly transferable and may cause significant damages to PHM systems.

연구 동기 및 목표

• 딥러닝 기반 예측유지보수 모델이 예측유지보수(PHM) 시스템에서 적대적 공격에 얼마나 취약한지 조사하기 위해.
• 컴퓨터 비전 분야에서의 적대적 예제 생성 기법—특히 FGSM 및 BIM—을 실제 센서 데이터를 사용해 PHM 도메인에 적응시키기 위해.
• LSTM, GRU, CNN 등 다양한 딥러닝 아키텍처에서 적대적 편향이 RUL 추정 정확도에 미치는 영향을 평가하기 위해.
• 다른 PHM 모델 간에 적대적 예제의 이동성(transferability)을 분석하여 블랙박스 공격 시나리오를 시뮬레이션하기 위해.
• 특히 안전이 중요한 응용 분야에서 산업용 IoT 및 딥러닝 시스템에 적대적 공격이 초래하는 잠재적 보안 위험을 부각하기 위해.

제안 방법

• 손실 함수의 기울기를 기반으로 입력 센서 데이터에 작은 타겟 편향을 추가하여 적대적 예제를 생성하기 위해 빠른 기울기 부호 방법(FGSM)을 도입하였다.
• FGSM보다 공격 성공률과 강건성을 높이기 위해 반복적으로 작은 편향을 적용하는 기본 반복 방법(BIM)을 적용하였다.
• NASA의 C-MAPSS 터보팬 엔진 데이터셋을 사용하여 LSTM, GRU, CNN 모델을 훈련 및 평가하여 단계적 RUL 예측을 수행하였다.
• 적대적 공격 이후 RUL 예측 성능 저하 정도를 정량적으로 평가하기 위해 RMSE 지표를 사용하였다.
• 대상 모델의 아키텍처나 파라미터에 접근할 수 없음에도 불구하고, 한 모델에서 생성한 적대적 예제를 다른 모델에 적용하여 이동성(transferability)을 평가하였다.
• 편향의 크기(ε)를 다양하게 변화시켜 공격 효과성과 모델 성능 저하 정도에 미치는 영향을 분석하기 위해 분석 실험(Ablation study)를 수행하였다.

실험 결과

연구 질문

• RQ1 FGSM 및 BIM 기법을 사용해 생성한 적대적 예제가 딥러닝 기반 PHM 모델의 RUL 예측 정확도를 심각하게 떨어뜨릴 수 있는가?
• RQ2 LSTM, GRU, CNN 등 다양한 딥러닝 아키텍처에서 FGSM 및 BIM 공격의 RMSE 저하 정도를 비교했을 때, 어떤 공격이 더 효과적인가?
• RQ3 특히 블랙박스 공격 시나리오에서, 적대적 예제는 어느 정도의 수준으로 한 모델에서 다른 모델로 이동 가능한가?
• RQ4 편향의 크기(ε)가 적대적 공격에서 RUL 예측 오류의 심각도에 어떤 영향을 미치는가?
• RQ5 PHM 시스템에는 모델별로 고유한 취약점이 존재하는가? 그리고 어떤 아키텍처가 적대적 편향에 가장 취약한가?

주요 결과

• BIM 공격는 GRU 모델에서 FGSM보다 유의미하게 높은 RMSE를 유도하였으며, ε = 1.2일 때 53.67 대비 32.63로, 공격 효과성이 뛰어나다는 것을 입증하였다.
• CNN 모델에서 생성한 적대적 예제는 가장 높은 이동성을 보였으며, GRU 모델로 이동시켰을 때 RMSE가 약 두 배로 증가하였다(24.12 대비 12.23).
• GRU 모델는 공격를 받은 상태에서 약 129개의 시간 사이클 동안 거의 일정한 RUL 추정 값을 유지하는 위험한 오염된 행동을 보였으며, 이는 심각한 유지보수 지연을 초래할 수 있다.
• 평가된 모든 PHM 모델(LSTM, GRU, CNN)은 적대적 공격에 취약하였으며, 미세한 편향이라도 RUL 추정 정확도에 심각한 저하를 초래하였다.
• 적대적 예제의 이동성은 모든 모델 간에 일관되게 높았으며, 이는 공격자가 대상 모델의 아키텍처나 파rameter를 알지 못하더라도 서로서의 모델에서 생성한 예제를 사용해 성공적인 공격를 수행할 수 있음을 시사한다.
• 본 연구는 딥러닝 기반 PHM 시스템이 적대적 공격에 매우 취약하며, 산업 안전성과 운영 지속성에 심각한 위험을 초래할 수 있음을 확인하였다.