[논문 리뷰] Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks

Hanxun Huang, Yisen Wang외 4명|arXiv (Cornell University)|2021. 10. 07.

Adversarial Robustness in Machine Learning참고 문헌 79인용 수 31

한 줄 요약

이 논문은 adversarial training으로 학습될 때 WideResNet의 너비(width)와 깊이(depth) 구성이 적대적 강건성에 어떤 영향을 미치는지 조사하고, 마지막 단계의 용량(capacity)을 줄이는 것이 강건성을 높일 수 있으며 고정된 파라미터 예산 하에서 최적의 아키텍처 구성이 존재한다는 것을 발견한다.

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial attacks. A range of defense methods have been proposed to train adversarially robust DNNs, among which adversarial training has demonstrated promising results. However, despite preliminary understandings developed for adversarial training, it is still not clear, from the architectural perspective, what configurations can lead to more robust DNNs. In this paper, we address this gap via a comprehensive investigation on the impact of network width and depth on the robustness of adversarially trained DNNs. Specifically, we make the following key observations: 1) more parameters (higher model capacity) does not necessarily help adversarial robustness; 2) reducing capacity at the last stage (the last group of blocks) of the network can actually improve adversarial robustness; and 3) under the same parameter budget, there exists an optimal architectural configuration for adversarial robustness. We also provide a theoretical analysis explaning why such network configuration can help robustness. These architectural insights can help design adversarially robust DNNs. Code is available at \url{https://github.com/HanxunH/RobustWRN}.

연구 동기 및 목표

• 아키텍처 선택(깊이와 너비)이 adversarial training 하에서 적대적 강건성에 어떤 영향을 미치는지 이해한다.
• 더 많은 파라미터가 항상 강건성을 향상시키는지 여부와 더 나은 트레이드오프를 위한 용량 감소 지점을 식별한다.
• WRN, VGG, DenseNet 및 NAS 기반 네트워크에 적용 가능한 실용적인 아키텍처 지침을 제공한다.

제안 방법

• CIFAR-10에서의 adversarial training 하에 WRN-34-10(WRN-34-10)의 너비와 깊이 구성에 대한 세밀한 격자 탐색을 수행한다.
• PGD를 사용한 SAT로 적대적 예제를 생성하고 PGD-20에 대한 강건성을 평가한다.
• 가우시안 가중 네트워크 분석을 통해 리프시츠 상한을 아키텍처와 이론적으로 연결한다.
• 다른 아키텍처에서도 견고한 구성과 확장성을 식별하기 위해 너비/깊이 패턴을 탐색한다.

실험 결과

연구 질문

• RQ1 WRN-34-10의 너비와 깊이 변화가 SAT 하에서 적대적 강건성에 어떤 영향을 미치는가?
• RQ2 고정된 파라미터 예산 내에서 강건성을 극대화하는 최적의 아키텍처 구성이가 있는가?
• RQ3 마지막 단계에서 용량을 줄이는 것이 강건성과 리프시츠성에 미치는 영향은 무엇인가?
• RQ4 발견된 아키텍처 인사이트가 VGG, DenseNet 및 NAS 유래 네트워크와 같은 다른 아키텍처로 전이되는가?
• RQ5 경험적 Lipschitz성 및 섭동 안정성이 구성 간 관찰된 강건성과 어떤 관계가 있는가?

주요 결과

• 전체 모델 용량을 증가시킨다고 해서 adversarial training 하에서 강건성이 반드시 향상되는 것은 아니다.
• WRN의 마지막 단계(Stage-3)에서 용량을 줄이면 adversarial 강건성이 향상될 수 있으며, 너비 감소가 깊이 감소보다 다소 더 효과적이다.
• 동일 파라미터 예산하에서 더 높은 adversarial 강건성을 제공하는 최적의 깊이/너비 구성이 존재한다.
• 강건 구성을 VGG, DenseNet 및 NAS 유래 네트워크로도 전이되어 파라미터를 줄이면서도 다소의 강건성 이득을 얻는다.
• 발견된 강건 구성(WRN-34-R 등)을 확장하면 강건성이 더 향상될 수 있으며 용량-리프시츠 간의 trade-off를 보인다.
• 마지막 단계 용량 감소를 채택할 때 경험적 지표가 리프시츠 상수를 감소시키고 섭동 안정성을 향상시킴을 보여준다.