[논문 리뷰] Neural Architecture Dilation for Adversarial Robustness

Yanxi Li, Zhaohui Yang외 2명|arXiv (Cornell University)|2021. 08. 16.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 10

한 줄 요약

이 논문은 사전 훈련된 CNN의 적대적 방어성능을 최소한의 정확도 저하로 향상시키기 위해 전략적으로 아키텍처를 확장하는 Neural Architecture Dilation for Adversarial Robustness (NADAR)를 제안한다. FLOPs 제약 조건 하에서 표준 정확도와 적대적 정확도에 대해 별도의 목적함수를 최적화함으로써, NADAR는 CIFAR-10과 ImageNet에서 최신 기준 성능을 달성한다.

ABSTRACT

With the tremendous advances in the architecture and scale of convolutional neural networks (CNNs) over the past few decades, they can easily reach or even exceed the performance of humans in certain tasks. However, a recently discovered shortcoming of CNNs is that they are vulnerable to adversarial attacks. Although the adversarial robustness of CNNs can be improved by adversarial training, there is a trade-off between standard accuracy and adversarial robustness. From the neural architecture perspective, this paper aims to improve the adversarial robustness of the backbone CNNs that have a satisfactory accuracy. Under a minimal computational overhead, the introduction of a dilation architecture is expected to be friendly with the standard performance of the backbone CNN while pursuing adversarial robustness. Theoretical analyses on the standard and adversarial error bounds naturally motivate the proposed neural architecture dilation algorithm. Experimental results on real-world datasets and benchmark neural networks demonstrate the effectiveness of the proposed algorithm to balance the accuracy and adversarial robustness.

연구 동기 및 목표

• 딥 학습 CNN에서 표준 정확도와 적대적 방어성 간의 본질적 트레이드오프를 해결한다.
• 표준 정확도를 저하시키지 않고 고성능 기반 네트워크의 적대적 방어성을 향상시킨다.
• 구조적 확장 기반으로 체계적으로 방어성을 향상시키는 신경망 아키텍처 탐색 방법을 개발한다.
• FLOPs 인식 아키텍처 최적화를 통합하여 계산 오버헤드를 최소화한다.
• 확장 프레임워크가 방어성 한계를 향상시키는 데 효과적인 이유를 이론적으로 설명한다.

제안 방법

• 기존의 백본 CNN에 별도의 경량 확장 브랜치를 추가하는 신경망 아키텍처 확장 프레임워크를 도입한다.
• 표준 정확도와 적대적 방어성에 대해 별도의 목적함수를 사용하여 훈련 과정을 분리한다.
• 기존 백본 네트워크의 성능 저하를 방지하기 위해 표준 정확도 제약 조건을 적용한다.
• FLOPs 인식 검색을 통해 계산 비용을 제어하고 효율성을 유지한다.
• 이론적 분석을 활용해 표준 오차와 적대적 오차의 경계를 유도하여 제약 조건이 포함된 최적화 목적함수의 설계를 정당화한다.
• 자연적 정확도와 방어성 정확도를 균형 있게 유지하는 수정된 목적함수를 사용해 PGD 기반 적대적 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 아키텍처 수정이 표준 정확도를 희생시키지 않고 적대적 방어성을 향상시킬 수 있는가?
• RQ2 표준 정확도와 적대적 정확도 훈련 목적함수를 분리함으로써 최종 방어성-정확도 트레이드오프에 어떤 영향을 미치는가?
• RQ3 FLOPs 인식 아키텍처 검색은 얼마나 효율적인 계산 비용을 유지하면서 방어성을 향상시킬 수 있는가?
• RQ4 제안된 확장 프레임워크는 기존의 적대적 훈련 및 NAS 기반 방어 방법보다 표준 벤치마크에서 뛰어난 성능을 보이는가?
• RQ5 다양한 소스 네트워크에서 공격하는 블랙박스 공격 시나리오에서 이 방법의 성능은 어떠한가?

주요 결과

• NADAR-B는 AutoAttack(APGD-CE, APGD-DLR, FAB, Square) 하에서 59.33%의 적대적 정확도를 달성하여 CIFAR-10에서 PGD-7, FastAT, FreeAT-8를 능가한다.
• NADAR-A는 AutoAttack 하에서 58.69%의 적대적 정확도를 기록하여 PGD-7보다 6.74–8.98% 높고, TRADES-6 성능과 동일하다.
• 블랙박스 공격 상황에서도 NADAR-B는 FGSM, PGD-20, PGD-100, MI-FGSM 등 다양한 공격 유형에서 다양한 소스 네트워크를 공격할 때도 뛰어난 성능을 유지한다.
• 제거 실험 결과, 별도의 최적화 목적함수와 표준 정확도 제약 조건이 모두 필수적임을 확인하였다. 이들을 제거할 경우 적대적 정확도가 최대 5.5% 감소한다.
• 표준 정확도 제약 조건을 적용한 NADAR는 85.97%의 표준 정확도와 53.18%의 적대적 정확도를 기록하여 제약 조건 없이 공동 훈련을 수행한 경우보다 뚜렷이 뛰어난 성능을 보였다.
• 최소한의 FLOPs 오버헤드를 유지하여 아키텍처 확장이 상당한 계산 비용 없이도 방어성을 향상시킬 수 있음을 입증하였다.