[논문 리뷰] Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks

Linhai Ma, Liang Liang|arXiv (Cornell University)|2020. 05. 19.

Adversarial Robustness in Machine Learning참고 문헌 66인용 수 8

한 줄 요약

이 논문은 균형 상태 분석을 통한 최적의 적대적 예제 생성을 바탕으로 표준 정확도-내성 갈등을 완화하는 새로운 적대적 훈련 방법인 증가 마진 적대적(Impoving-Margin Adversarial, IMA) 훈련을 제안한다. IMA는 청소년 데이터 정확도의 최소한의 감소로 이미지 분류 및 세분화 작업에서 최고 수준의 내성 성능을 달성하며, 한 가지 응용 사례에서는 정확도와 내성 성능을 동시에 향상시킨다.

ABSTRACT

Deep neural networks (DNNs) are vulnerable to adversarial noises. Adversarial training is a general and effective strategy to improve DNN robustness (i.e., accuracy on noisy data) against adversarial noises. However, DNN models trained by the current existing adversarial training methods may have much lower standard accuracy (i.e., accuracy on clean data), compared to the same models trained by the standard method on clean data, and this phenomenon is known as the trade-off between accuracy and robustness and is considered unavoidable. This issue prevents adversarial training from being used in many application domains, such as medical image analysis, as practitioners do not want to sacrifice standard accuracy too much in exchange for adversarial robustness. Our objective is to lift (i.e., alleviate or even avoid) this trade-off between standard accuracy and adversarial robustness for medical image classification and segmentation. We propose a novel adversarial training method, named Increasing-Margin Adversarial (IMA) Training, which is supported by an equilibrium state analysis about the optimality of adversarial training samples. Our method aims to preserve accuracy while improving robustness by generating optimal adversarial training samples. We evaluate our method and the other eight representative methods on six publicly available image datasets corrupted by noises generated by AutoAttack and white-noise attack. Our method achieves the highest adversarial robustness for image classification and segmentation with the smallest reduction in accuracy on clean data. For one of the applications, our method improves both accuracy and robustness. Our study has demonstrated that our method can lift the trade-off between standard accuracy and adversarial robustness for the image classification and segmentation applications.

연구 동기 및 목표

• 의료 영상 응용 분야에서 특히 중요한 깊이 신경망의 표준 정확도와 적대적 내성 간 지속적인 갈등을 해결한다.
• 내성을 향상시킬 때 표준 정확도를 크게 감소시키는 기존 적대적 훈련 방법의 한계를 극복한다.
• 청결한 데이터 정확도를 유지하면서 내성 성능을 향상시키는 방법을 개발한다.
• 표준 정확도를 훼손할 수 없는 안전 중심 분야(예: 의료 영상)에서 적대적 훈련의 광범위한 적용을 가능하게 한다.
• 정확도-내성 갈등이 필수적인 것은 아니며, 개선된 적대적 예제 생성을 통해 완화될 수 있음을 입증한다.

제안 방법

• 적대적 예제 최적성의 균형 상태 분석에 기반한 새로운 적대적 훈련 프레임워크인 증가 마진 적대적(Impoving-Margin Adversarial, IMA) 훈련을 제안한다.
• 정확한 클래스 예측과 잘못된 클래스 예측 간의 마진을 최대화하는 적대적 예제를 생성하여 내성을 최적화하고 청결한 정확도를 훼손하지 않는다.
• 훈련 중 동적 마진 조정 메커니즘을 사용하여 모델의 내성을 점진적으로 향상시키면서도 청결한 데이터에 대한 일반화 능력을 유지한다.
• 표준 교차 엔트로피 손실과 마진 기반 적대적 손실을 균형 잡는 손실 함수를 도입하여 청결한 정확도와 내성 성능가 둘 다 향상되도록 보장한다.
• 균형 상태 분석에서 도출된 이론적 통찰을 활용해 내성 향상에 가장 유용한 최적의 적대적 예제를 생성한다.
• 표준 딥 러닝 아키텍처를 사용하여 이미지 분류 및 세분화 작업 전반에 걸쳐 메서드를 종단 간(end-to-end)으로 적용한다.

실험 결과

연구 질문

• RQ1 개선된 적대적 예제 생성을 통해 깊이 신경망의 표준 정확도-내성 갈등을 완화할 수 있는가?
• RQ2 제안된 IMA 훈련 방법은 다른 방법보다 더 높은 적대적 내성을 달성하면서도 청결한 데이터 정확도를 유지하거나 향상시키는가?
• RQ3 IMA 훈련은 다양한 이미지 데이터셋에서 표준 정확도와 내성 정확도 간 격차를 어느 정도 줄이는가?
• RQ4 실제 응용에서 IMA 훈련은 동시에 표준 정확도와 적대적 내성을 향상시킬 수 있는가?
• RQ5 적대적 예제 최적성의 균형 상태 분석은 더 효과적인 적대적 훈련 전략 설계에 어떻게 기여하는가?

주요 결과

• IMA 훈련은 AutoAttack 및 화이트 노이즈 공격 하에서 여섯 개의 공개 이미지 데이터셋에서 가장 높은 적대적 내성을 달성하며, 여덟 가지 기준 방법을 능가한다.
• 기존의 적대적 훈련 접근 방식에 비해 청결한 데이터 정확도의 감소 폭이 가장 작아 표준 정확도-내성 갈등을 효과적으로 완화한다.
• 한 가지 응용 시나리오에서 IMA 훈련은 청결한 데이터 정확도와 적대적 내성 성능를 동시에 향상시켜 갈등이 본질적이지 않음을 입증한다.
• 균형 상태 분석은 최소한의 정확도 손실로 내성 성능 향상을 극대화하는 최적의 적대적 예제 생성에 대한 이론적 기반을 제공한다.
• IMA 훈련은 이미지 분류 및 세분화 작업 전반에서 뛰어난 성능을 유지하여 광범위한 적용 가능성을 보여준다.
• 이 방법은 다양한 데이터셋과 공격 유형에 대해 강건하게 작동하여 특정 아키텍처나 데이터 분포를 초월한 일반화 능력을 확인한다.