[논문 리뷰] Multi-shot NAS for Discovering Adversarially Robust Convolutional Neural Architectures at Targeted Capacities.

Xuefei Ning, Junbo Zhao외 4명|arXiv (Cornell University)|2020. 12. 22.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 다중 샷 NAS 프레임워크를 제안하여, 여러 개의 수퍼넷을 통해 내부 외삽을 통한 보상 추정을 통해 목표 FLOPs에서 적합한 용량을 가진 적대적 공격에 강건한 CNN 아키텍처를 발견한다. 이는 용량을 보정한 검색을 가능하게 한다. 1560M FLOPs에서 MSRobNet-1560은 순수 정확도 84.8%와 PGD100 강건 정확도 52.9%를 기록하며, 유사한 용량 제약 조건에서 RobNet-free를 능가한다.

ABSTRACT

Convolutional neural networks (CNNs) are vulnerable to adversarial examples, and studies show that increasing the model capacity of an architecture topology (e.g., width expansion) can bring consistent robustness improvements. This reveals a clear robustness-efficiency trade-off that should be considered in architecture design. Recent studies have employed one-shot neural architecture search (NAS) to discover adversarially robust architectures. However, since the capacities of different topologies cannot be easily aligned during the search process, current one-shot NAS methods might favor topologies with larger capacity in the supernet. And the discovered topology might be sub-optimal when aligned to the targeted capacity. This paper proposes a novel multi-shot NAS method to explicitly search for adversarially robust architectures at a certain targeted capacity. Specifically, we estimate the reward at the targeted capacity using interior extra-polation of the rewards from multiple supernets. Experimental results demonstrate the effectiveness of the proposed method. For instance, at the targeted FLOPs of 1560M, the discovered MSRobNet-1560 (clean 84.8%, PGD100 52.9%) outperforms the recent NAS-discovered architecture RobNet-free (clean 82.8%, PGD100 52.6%) with similar FLOPs. Codes are available at this https URL.

연구 동기 및 목표

• 목표 용량 검색을 가능하게 하여 CNN 아키텍처 설계에서 강건성-효율성 트레이드오���을 해결하기 위해.
• 수퍼넷 용량 불일치로 인해 하나의 샷 NAS가 높은 용량의 최상위 아키텍처를 선호하는 한계를 극복하기 위해.
• 여러 개의 수퍼넷을 사용하여 특정 목표 용량에서의 강건성 보상(예: 강건 정확도)을 추정하는 방법을 개발하기 위해.
• 사전 정의된 계산 예산에서 동시에 강건하고 효율적인 아키텍처를 발견하기 위해.
• 기존의 NAS를 통해 발견된 모델들, 예를 들어 RobNet-free를 초월하여 유사한 FLOPs에서 더 높은 강건성과 정확도를 달성하기 위해.

제안 방법

• 각기 다른 용량 수준을 가진 여러 수퍼넷을 사용하여 용량 인식 아키텍처 검색을 가능하게 한다.
• 특정 수퍼넷에 직접 포함되어 있지 않은 목표 용량에서의 보상(예: 강건 정확도)을 추정하기 위해 내부 외삽을 사용한다.
• 다양한 너비 또는 깊이를 가진 여러 수퍼넷에서 관찰된 성능 추세에 기반하여 보상 추정을 수행한다.
• 목표 FLOPs에서 추정된 보상을 최대화하는 아키텍처 경로를 검색 과정에서 선택한다.
• 용량이 일치하는 아키텍처 간의 공정한 비교 및 최적화를 가능하게 한다.
• 최종 아키텍처는 목표 FLOPs에서 훈련 및 평가되어 강건성과 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 다중 샷 NAS는 특정 목표 FLOPs에서 적대적 공격에 강건한 CNN의 발견을 향상시킬 수 있는가?
• RQ2 여러 수퍼넷을 통해 보상을 내부 외삽하면 하나의 샷 NAS보다 더 나은 용량 일치 아키텍처 검색이 가능한가?
• RQ3 제안된 방법은 기존의 NAS를 통해 발견된 모델들, 예를 들어 RobNet-free와 비교하여 동일한 FLOPs에서 순수 정확도와 강건 정확도 양면에서 뛰어나게 할 수 있는가?
• RQ4 정확한 계산 예산에 맞춰진 아키텍처의 성능은 어떻게 변할까?
• RQ5 하나의 샷 NAS에서 발생하는 용량 불일치는 검색 과정에서 더 높은 용량의 비최적 최상위 아키텍처를 선호하는 편향을 얼마나 유발하는가?

주요 결과

• 1560M FLOPs에서 MSRobNet-1560은 순수 정확도 84.8%와 PGD100 강건 정확도 52.9%를 기록하며 RobNet-free를 능가한다.
• RobNet-free는 유사한 FLOPs에서 순수 정확도 82.8%와 PGD100 강건 정확도 52.6%를 기록하여, 제안된 방법의 성능 향상을 확인한다.
• 다중 샷 NAS 방법은 내부 외삽을 통해 목표 용량에서의 보상을 성공적으로 추정하여 공정하고 정확한 검색을 가능하게 한다.
• 검색 과정에서 용량을 일치시킴으로써 하나의 샷 NAS에서 관찰된 고용량 최상위 아키텍처를 선호하는 편향을 완화한다.
• 발견된 아키텍처는 다양한 FLOP 수준에서 일관된 강건성 향상을 보이며, 이는 방법의 확장성 검증을 위한 것이다.
• 이 방법은 사전 정의된 계산 예산에서 효율적이고 효과적인 강건한 아키텍처의 발견을 가능하게 한다.