[논문 리뷰] RES-HD: Resilient Intelligent Fault Diagnosis Against Adversarial Attacks Using Hyper-Dimensional Computing

Onat Güngör, Tajana Rosing외 1명|arXiv (Cornell University)|2022. 03. 14.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 초차원 계산(HDC) 기반의 고장 진단 시스템인 RES-HD를 제안한다. 이 시스템은 최신 딥러닝 모델 대비 블랙박스 적대적 공격에 대해 최대 67.5% 높은 내성 확보와 함께 학습 속도가 25.1배 빠르다. 이는 대체 WDCNN 모델을 사용한 이식 가능한 공격 프레임워크를 통해 적대적 예제를 생성함으로써 HDC의 강건성과 효율성을 산업용 IoT 환경에서 입증한다.

ABSTRACT

Industrial Internet of Things (I-IoT) enables fully automated production systems by continuously monitoring devices and analyzing collected data. Machine learning methods are commonly utilized for data analytics in such systems. Cyber-attacks are a grave threat to I-IoT as they can manipulate legitimate inputs, corrupting ML predictions and causing disruptions in the production systems. Hyper-dimensional computing (HDC) is a brain-inspired machine learning method that has been shown to be sufficiently accurate while being extremely robust, fast, and energy-efficient. In this work, we use HDC for intelligent fault diagnosis against different adversarial attacks. Our black-box adversarial attacks first train a substitute model and create perturbed test instances using this trained model. These examples are then transferred to the target models. The change in the classification accuracy is measured as the difference before and after the attacks. This change measures the resiliency of a learning method. Our experiments show that HDC leads to a more resilient and lightweight learning solution than the state-of-the-art deep learning methods. HDC has up to 67.5% higher resiliency compared to the state-of-the-art methods while being up to 25.1% faster to train.

연구 동기 및 목표

• 산업용 IoT(I-IoT) 시스템에서 기계 학습 모델에 대한 적대적 공격의 증가하는 위협을 다루며, 이는 예측 유지보수 및 고장 진단을 방해할 수 있다.
• 딥러닝 모델이 입력 편향에 취약하여 적대적 조건에서 분류 정확도가 떨어지는 문제를 해결한다.
• 자원이 제한된 I-IoT 환경에서 지능형 고장 진단(IFD)을 위한 경량화되고 내성적이며 효율적인 학습 솔루션을 개발한다.
• 초차원 계산(HDC)이 블랙박스 적대적 공격 조건에서 최신 딥러닝 기법보다 뛰어난 강건성과 계산 효율성을 제공함을 입증한다.

제안 방법

• 이식 가능성 기반의 블랙박스 적대적 공격 전략을 적용: 적대적 예제를 생성하기 위해 대체 넓은 깊이 컨볼루션 신경망(WDCNN)을 학습한다.
• WDCNN을 사용해 훈련된 훼손된 테스트 인스턴스를 생성하고, 이를 타겟 모델(LSTM, GRU, HDC 등)에 전달하여 평가한다.
• HDC를 사용해 원시 센서 데이터를 고차원 히퍼벡터(HV)로 인코딩함으로써 덧셈 및 내적과 같은 간단한 벡터 연산을 통해 강건한 패턴 인식을 가능하게 한다.
• 역전파를 피하는 벡터 유사도 기반의 단순 학습 규칙을 사용해 HDC 모델을 학습함으로써 빠르고 에너지 효율적인 학습을 실현한다.
• 모델의 내성은 적대적 공격 전후의 분류 정확도 감소율로 측정되며, 감소율이 낮을수록 내성이 높다고 간주한다.
• 두 데이터셋(CWRU rolling bearing dataset, 드라이브 및 팬 엔드 구성)을 대상으로 다양한 딥러닝 모델(LSTM, GRU, CRNN 등)과 HDC의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 지능형 고장 진단 환경에서 블랙박스 적대적 공격에 대해 초차원 계산(HDC)이 최신 딥러닝 모델 대비 얼마나 더 강건한가?
• RQ2 HDC는 I-IoT 고장 진단 시스템에서 강건성을 유지하거나 향상시키면서 학습 시간을 얼마나 줄일 수 있는가?
• RQ3 HDC는 대체 모델을 악용하는 이식 가능한 적대적 공격 조건에서도 높은 분류 정확도를 유지를 할 수 있는가?
• RQ4 다양한 공격 구성과 데이터셋에서 HDC가 딥러닝 기반 모델 대비 평균 및 최대 내성성 향상 수준은 얼마인가?

주요 결과

• 블랙박스 적대적 공격 조건에서 팬 엔드 데이터셋에서 HDC는 최고 성능을 보인 딥러닝 모델(GRU) 대비 최대 67.5% 높은 내성성을 보였다.
• 드라이브 엔드 데이터셋에서 HDC는 CGRU 모델 대비 최대 61.9%의 내성성 향상을 기록했으며, 모든 딥러닝 기반 모델 대비 평균 40% 이상의 향상을 확보했다.
• HDC는 가장 느린 딥러닝 모델(LSTM) 대비 학습 시간을 최대 25.1배 단축했으며, 가장 내성적인 딥러닝 모델(GRU) 대비 23배 빠른 학습 속도를 기록했다.
• HDC는 적대적 조건에서도 가장 높은 분류 정확도를 유지했으며, 드라이브 엔드 및 팬 엔드 데이터셋 양쪽에서 모든 딥러닝 모델을 능가했다.
• 모든 딥러닝 모델 대비 HDC의 평균 내성성 향상률은 20% 이상이었으며, 팬 엔드에서 CLSTM 모델에 대해 최고 평균 향상률 48.3%를 기록했다.
• HDC의 경량 학습 및 강건성 덕분에 데이터 스트림이 동적으로 변화하고 보안이 핵심인 산업용 IoT 시스템에서 실시간 연속 재학습에 실용적인 솔루션으로 적합하다.