[논문 리뷰] Discovering Robust Convolutional Architecture at Targeted Capacity: A Multi-Shot Approach

Xuefei Ning, Junbo Zhao외 5명|arXiv (Cornell University)|2020. 12. 22.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 5

한 줄 요약

이 논문은 특정 FLOPs 예산에서 적대적으로 강건한 합성곱 신경망 아키텍처를 탐색하기 위해 다중 샷 신경망 아키텍처 탐색(NAS) 방법을 제안한다. 다양한 용량을 가진 다수의 슈퍼넷에서 유도된 보상 값을 보간하여, 한 번의 NAS에서 발생하는 용량 불일치 문제를 해결함으로써 강건한 모델을 타겟으로 탐색할 수 있도록 한다. MSRobNet-2000은 RobNet-large보다 4%-7% 높은 강건성을 확보하였고, MSRobNet-1560은 청소 및 PGD-7 정확도에서 각각 RobNet-free를 2.3%와 1.3% 초월한다.

ABSTRACT

Convolutional neural networks (CNNs) are vulnerable to adversarial examples, and studies show that increasing the model capacity of an architecture topology (e.g., width expansion) can bring consistent robustness improvements. This reveals a clear robustness-efficiency trade-off that should be considered in architecture design. In this paper, considering scenarios with capacity budget, we aim to discover adversarially robust architecture at targeted capacities. Recent studies employed one-shot neural architecture search (NAS) to discover robust architectures. However, since the capacities of different topologies cannot be aligned in the search process, one-shot NAS methods favor topologies with larger capacities in the supernet. And the discovered topology might be suboptimal when augmented to the targeted capacity. We propose a novel multi-shot NAS method to address this issue and explicitly search for robust architectures at targeted capacities. At the targeted FLOPs of 2000M, the discovered MSRobNet-2000 outperforms the recent NAS-discovered architecture RobNet-large under various criteria by a large margin of 4%-7%. And at the targeted FLOPs of 1560M, MSRobNet-1560 surpasses another NAS-discovered architecture RobNet-free by 2.3% and 1.3% in the clean and PGD-7 accuracies, respectively. All codes are available at https://github.com/walkerning/aw\_nas.

연구 동기 및 목표

• 고정된 용량 예산 하에서 CNN 아키텍처 설계의 강건성-효율성 트레이드오��� 문제를 해결하기 위해.
• 한 번의 NAS에서 발생하는 용량 불일치 문제를 해결하기 위해, 더 큰 아키텍처가 슈퍼넷 용량 불균형으로 인해 유리하게 평가되는 문제를 해결하기 위해.
• 특정 FLOPs(예: 1560M, 2000M)에서 강건한 아키텍처를 타겟으로 탐색하기 위해 폭 확장을 명시적으로 모델링함으로써.
• FGSM을 강건성 평가의 신뢰할 수 있는 프록시로 사용하여 탐색 효율성을 향상시키기 위해.
• 다중 샷 보상 추정이 슈퍼넷 성능과 최종 모델 성능 간 격차를 메우는 데 성공함을 검증하기 위해.

제안 방법

• 다양한 초기 채널 수(예: 24, 44, 64)를 가진 다수의 슈퍼넷을 구축하여 다양한 모델 용량을 표현한다.
• 각 슈퍼넷의 한 번의 NAS 보상 값을 사용하여 보간 또는 외삽을 통해 각 아키텍처에 대한 다중 샷 보상을 추정한다.
• 폭 확장이 강건성에 미치는 영향을 모델링하기 위해 로그 파워 함수 군을 사용한다.
• PGD-20 및 PGD-100과 같은 더 정확한 강건성 지표보다 빠르고 안정적인 프록시로 FGSM 기반 보상을 사용한다.
• 다중 샷 추정 보상을 사용하여 목표 FLOPs에 최적화된 아키텍처를 탐색하기 위해 NAS를 수행한다.
• 이중화 검증을 위해 이심성 순위 상관관계(LOO)를 사용하여 다중 샷 보상이 진정된 강건성과 잘 상관됨을 확인한다.

실험 결과

연구 질문

• RQ1 목표 FLOPs에서 강건한 아키텍처를 탐색할 때, 다중 샷 NAS가 한 번의 NAS에서 발생하는 용량 불일치 문제를 효과적으로 완화할 수 있는가?
• RQ2 FGSM을 프록시 보상으로 사용할 경우, PGD-20 및 PGD-100과 같은 더 정확한 강건성 기준과 일관된 순위를 제공하는가?
• RQ3 다중 샷 보상 추정 전략이 슈퍼넷 평가 성능과 폭 확장 후 최종 모델 성능 간 격차를 메울 수 있는가?
• RQ4 고정된 FLOPs 예산 하에서, 제안된 방법이 한 번의 NAS 및 수동 아키텍처 설계에 비해 강건성 면에서 어떻게 성능을 냅니다?
• RQ5 발견된 아키텍처가 CIFAR-100, SVHN 및 Tiny-ImageNet 등의 다양한 데이터셋에 일반화되는가?

주요 결과

• 2000M FLOPs에서 MSRobNet-2000은 PGD-100 정확도 31.6%를 기록하여, 다양한 강건성 기준에서 RobNet-large를 4%-7% 뛰어넘었다.
• 1560M FLOPs에서 MSRobNet-1560은 PGD-20 정확도 31.7% 및 PGD-100 정확도 31.5%를 확보하여, 청소 및 PGD-100 정확도에서 각각 RobNet-free를 2.3%와 1.3% 초월했다.
• 다중 샷 보상 추정 전략은 다른 슈퍼넷의 한 번의 보상보다 더 높은 LOO 순위 상관관계(τj)를 확보하여, 용량 격차를 메우는 능력을 확인했다.
• 전이 기반 블랙박스 공격 결과, MSRobNets는 기준 모델보다 전이가 더 어려운 것으로 나타나 강건성이 뛰어나다는 것을 시사한다.
• 다중 샷 보상 기반 탐색은 단지 1.3 GPU일 내에 완료되었고, 동일한 목표 용량에서 한 번의 NAS로 발견된 아키텍처보다 성능이 뛰어났다.
• 함수 군 선택 결과, 로그 파워 함수가 가장 높은 LOO 상관관계를 보이며 폭 확장 효과를 모델링하는 데 적합함을 검증했다.