[논문 리뷰] Deep Learning Defenses Against Adversarial Examples for Dynamic Risk Assessment

Xabier Echeberria-Barrio, Amaia Gil-Lerchundi외 2명|arXiv (Cornell University)|2020. 07. 02.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 6

한 줄 요약

이 논문은 동적 위험 평가를 위한 딥러닝 모델에서의 적대적 공격에 대비해 차원 축소(오토에인코더를 활용)와 이미지 이력 기반 예측 유사도라는 두 가지 새로운 방어 기법을 제안한다. 이 방어 기법들이 정확도를 유지하면서 모델의 강건성을 향상시킴을 입증하였으며, 특히 예측 유사도 기법은 새로운 적대적 예제의 99.5%를 탐지하는 데 성공하였다.

ABSTRACT

Deep Neural Networks were first developed decades ago, but it was not until recently that they started being extensively used, due to their computing power requirements. Since then, they are increasingly being applied to many fields and have undergone far-reaching advancements. More importantly, they have been utilized for critical matters, such as making decisions in healthcare procedures or autonomous driving, where risk management is crucial. Any mistakes in the diagnostics or decision-making in these fields could entail grave accidents, and even death. This is preoccupying, because it has been repeatedly reported that it is straightforward to attack this type of models. Thus, these attacks must be studied to be able to assess their risk, and defenses need to be developed to make models more robust. For this work, the most widely known attack was selected (adversarial attack) and several defenses were implemented against it (i.e. adversarial training, dimensionality reduc tion and prediction similarity). The obtained outcomes make the model more robust while keeping a similar accuracy. The idea was developed using a breast cancer dataset and a VGG16 and dense neural network model, but the solutions could be applied to datasets from other areas and different convolutional and dense deep neural network models.

연구 동기 및 목표

• 의료 및 자율주행과 같은 고위험 응용 분야에서 사용되는 딥러닝 모델에서 발생하는 적대적 공격이 초래하는 심각한 위험을 해결하기 위해.
• 특히 새로운 적대적 예제에 대해 기존의 방어 기법, 특히 적대적 훈련을 평가하고 비교하기 위해.
• 강건성 향상과 위험 탐지 향상을 위해 차원 축소와 예측 유사도라는 두 가지 새로운 사전 방어 기법을 제안하고 검증하기 위해.
• 실시간 의사결정이 필요한 안전 핵심 시스템에서의 동적 위험 평가 프레임워크에 이러한 방어 기법을 통합하기 위해.

제안 방법

• 유방암 데이터셋으로 훈련된 VGG16 및 밀집 신경망 모델에 대해 FGSM 및 PGD 공격를 적용하였다.
• 적대적 훈련을 통해 생성된 적대적 예제로 모델을 재학습시켜 분류 강건성을 향상시켰다.
• 노이즈 제거 및 입력 편향 감소를 위해 인코더-디코더 레이어를 삽입하여 오토에인코더 기반 차원 축소를 구현하였다.
• 이미지 임베딩의 역사적 정보와 유사도 측정 지표(예: SSIM)를 활용해 적대적 입력을 탐지하는 예측 유사도 방어 기법을 개발하였다.
• 기준 유사도 지표로는 평균 제곱 오차(MSE)와 피크 신호 대 노이즈 비율(PSNR)을 사용하였으며, 탐지에 주로 SSIM을 사용하였다.
• 기존(초기) 및 새로 생성된 적대적 예제에 대해 방어 기법을 평가하여 강건성과 탐지 능력을 점검하였다.

실험 결과

연구 질문

• RQ1 적대적 훈련, 차원 축소, 예측 유사도 기법이 기존 적대적 예제에 대해 얼마나 효과적인가?
• RQ2 오토에인코더의 중간 레이어를 활용한 차원 축소가 적대적 노이즈를 시각적으로 인지 가능하게 하여 모델의 취약성을 감소시킬 수 있는가?
• RQ3 기본 모델 아키텍처를 수정하지 않고 예측 유사도 기법이 새로운 적대적 예제를 얼마나 잘 탐지할 수 있는가?
• RQ4 이러한 방어 기법들이 새로운 적대적 공격에 대해 정확도 유지와 강건성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 예측 유사도 기법이 안전 핵심 AI 시스템에서의 동적 위험 평가에 실질적인 입력으로 활용될 수 있는가?

주요 결과

• 적대적 훈련은 기존 적대적 예제에 대해 92.0%의 방어 성공률를 기록했지만, 새로운 적대적 예제에 대해서는 일반화 실패를 보였다.
• 중간 오토에인코더 레이어를 활용한 차원 축소 기법은 적대적 공격 성공률를 39.6%(60.4% 방어율)로 낮추었으며, 생성된 적대적 예제에서 노이즈가 시각적으로 인지 가능해졌다.
• 예측 유사도 방어 기법은 SSIM 지표를 사용해 이미지 유사도를 측정함으로써 새로운 적대적 예제의 99.5%를 탐지하였다.
• 인코더 기반 방어 기법은 초기 적대적 예제에 대해 64.3%의 방어율을 기록했으며, 초기 오토에인코더(70.5%)와 적대적 훈련(92.0%)보다 새로운 공격 탐지에서 뛰어난 성능을 보였다.
• 예측 유사도 기법은 모델 아키텍처를 수정하지 않고도 비침습적인 외부 탐지 레이어로 기능하며, 위험 평가 워크플로우에 통합될 수 있었다.
• 제안된 방어 기법들은 정확도를 유지하면서도 강건성을 크게 향상시켰으며, 특히 예측 유사도 기법이 새로운 공격에 대해 가장 높은 탐지 성능를 보였다.