[논문 리뷰] Improve robustness of DNN for ECG signal classification:a noise-to-signal ratio perspective

Linhai Ma, Liang Liang|arXiv (Cornell University)|2020. 05. 18.

Adversarial Robustness in Machine Learning참고 문헌 12인용 수 4

한 줄 요약

이 논문은 심전도 신호 분류를 위한 딥 뉴럴 네트워크(DNN)에서 적대적 공격에 대한 강건성을 향상시키기 위해 훈련 중 노이즈 대 신호 비율(NSR)을 감소시키는 두 가지 새로운 손실 함수를 제안한다. 손실 함수에 정규화 항을 통합하여 NSR을 최소화함으로써, 정상 데이터 정확도를 떨어뜨리지 않은 채 PGD 및 SPSA 적대적 공격에 대한 저항력을 향상시킨다. 손실 함수2는 MIT-BIH 심전도 데이터셋을 사용한 다층퍼셉트론(MLP) 및 컨volutional 신경망(CNN) 아키텍처에서 표준 적대적 훈련 및 자코비안 정규화보다 뛰어난 성능을 보였다.

ABSTRACT

Electrocardiogram (ECG) is the most widely used diagnostic tool to monitor the condition of the cardiovascular system. Deep neural networks (DNNs), have been developed in many research labs for automatic interpretation of ECG signals to identify potential abnormalities in patient hearts. Studies have shown that given a sufficiently large amount of data, the classification accuracy of DNNs could reach human-expert cardiologist level. A DNN-based automated ECG diagnostic system would be an affordable solution for patients in developing countries where human-expert cardiologist are lacking. However, despite of the excellent performance in classification accuracy, it has been shown that DNNs are highly vulnerable to adversarial attacks: subtle changes in input of a DNN can lead to a wrong classification output with high confidence. Thus, it is challenging and essential to improve adversarial robustness of DNNs for ECG signal classification, a life-critical application. In this work, we proposed to improve DNN robustness from the perspective of noise-to-signal ratio (NSR) and developed two methods to minimize NSR during training process. We evaluated the proposed methods on PhysionNets MIT-BIH dataset, and the results show that our proposed methods lead to an enhancement in robustness against PGD adversarial attack and SPSA attack, with a minimal change in accuracy on clean data.

연구 동기 및 목표

• 생명 위험을 수반하는 심전도 분류에서 DNN의 적대적 공격에 대한 취약성을 해결하기 위해.
• 정상 데이터 정확도를 희생시키지 않고 화이트박스(PGD) 및 블랙박스(SPSA) 적대적 공격에 대한 강건성을 향상시키기 위해.
• 향상된 DNN 강건성을 위한 노이즈 대 신호 비율(NSR) 최소화 기반의 새로운 훈련 철학을 제안하기 위해.
• 다양한 공격 시나리오 하에서 PhysioNet MIT-BIH Arrhythmia 심전도 데이터셋을 기반으로 제안된 방법을 평가하기 위해.

제안 방법

• DNN 훈련 중 노이즈 대 신호 비율(NSR)을 최소화하기 위해 정규화 항을 포함한 두 가지 새로운 손실 함수인 loss1과 loss2를 제안하였다.
• loss1은 정상 입력과 적대적 입력에 대한 네트워크 출력 간 차이의 L2 노름을 페널티로 삼아 NSR을 감소시킨다.
• loss2는 L2 손실에 마진 기반 정규화를 추가하여 네트워크의 적대적 편향에 대한 민감도를 더욱 제약한다.
• 훈련용 적대적 샘플은 10단계와 노이즈 수준 ε = 0.1, 0.2, 0.3를 사용한 PGD를 통해 생성되었다.
• 모델은 고정된 학습률 0.001과 배치 크기 128을 사용한 Adamax 옵티마이저로 훈련되었다.
• 클래스 불균형 문제는 훈련 및 테스트 세트에서 클래스 표현을 균형 있게 유지하기 위해 업샘플링을 통해 해결되었다.

실험 결과

연구 질문

• RQ1 훈련 중 노이즈 대 신호 비율(NSR)을 감소시키는 것이 심전도 분류를 위한 DNN의 적대적 강건성 향상에 기여하는가?
• RQ2 NSR 기반 정규화는 표준 적대적 훈련 및 자코비안 정규화에 비해 PGD 및 SPSA 공격에 대해 어떻게 비교되는가?
• RQ3 제안된 방법은 강건성을 향상시키는 동시에 정상 심전도 데이터에 대해 높은 분류 정확도를 유지하는가?
• RQ4 두 가지 제안된 손실 함수 중에서 loss1 또는 loss2 중 어느 것이 다양한 네트워크 아키텍처에서 더 뛰어난 강건성을 제공하는가?

주요 결과

• MIT-BIH 심전도 데이터셋에서 손실 함수2는 CNN 아키텍처에서 ε = 0.1인 100-PGD 공격 하에 테스트 정확도 71%와 정밀도 78%를 기록하여 가장 높은 성능을 보였다.
• MLP에 대해서는 동일한 PGD 공격 조건에서 loss2가 61%의 정확도와 64%의 정밀도를 기록했으며, ε = 0.2 및 ε = 0.3인 10-PGD 적대적 훈련을 포함한 모든 베이스라인보다 뛰어났다.
• 손실 함수2는 화이트박스(PGD) 및 블랙박스(SPSA) 공격 모두에서 MLP 및 CNN 모델에서 표준 적대적 훈련(10-PGD) 및 자코비안 정규화를 크게 능가했다.
• 제안된 방법은 표준 크로스 엔트로피 훈련과 비교해도 정상 데이터 정확도에 거의 영향을 주지 않아 강건성 향상에 성능 희생 없이 성취된 것을 확인했다.
• 제거 실험을 통해 loss1과 loss2 모두 강건성 향상에 기여했으며, 특히 loss2가 다양한 공격 유형과 네트워크 아키텍처에 걸쳐 뛰어난 일반화 성능을 보였다.