[논문 리뷰] Towards Verifying the Geometric Robustness of Large-scale Neural Networks

Fu Wang, Peipei Xu외 2명|arXiv (Cornell University)|2023. 01. 29.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 립시츠 최적화를 사용하여 회전 및 스케일링과 같은 변환의 적대적 조합에 대해 대규모 신경망의 기하학적 강건성을 증명 가능하게 검증하는 블랙박스 강건성 분석기인 GeoRobust을 제안한다. 이 방법은 ImageNet 모델에서 몇 초 내로 최악의 변환을 효율적으로 탐지하며, 깊이가 깊고 넓이가 넓은 네트워크일수록 더 높은 기하학적 강건성을 보이며, 성능은 파라미터 수와 정확히 상관관계를 가진다.

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial geometric transformation. This paper aims to verify the robustness of large-scale DNNs against the combination of multiple geometric transformations with a provable guarantee. Given a set of transformations (e.g., rotation, scaling, etc.), we develop GeoRobust, a black-box robustness analyser built upon a novel global optimisation strategy, for locating the worst-case combination of transformations that affect and even alter a network's output. GeoRobust can provide provable guarantees on finding the worst-case combination based on recent advances in Lipschitzian theory. Due to its black-box nature, GeoRobust can be deployed on large-scale DNNs regardless of their architectures, activation functions, and the number of neurons. In practice, GeoRobust can locate the worst-case geometric transformation with high precision for the ResNet50 model on ImageNet in a few seconds on average. We examined 18 ImageNet classifiers, including the ResNet family and vision transformers, and found a positive correlation between the geometric robustness of the networks and the parameter numbers. We also observe that increasing the depth of DNN is more beneficial than increasing its width in terms of improving its geometric robustness. Our tool GeoRobust is available at https://github.com/TrustAI/GeoRobust.

연구 동기 및 목표

• 대규모 DNN에서 복합 기하학적 변환에 대한 증명 가능한, 확장 가능한 방법의 부족을 해결하기 위해.
• 대상 모델의 아키텍처나 기울기 접근이 필요 없는 블랙박스 방법을 개발하기 위해.
• 립시츠 연속성과 함께 이론적 수렴 보장을 제공하고 GPU 병렬 처리 효율성을 최적화하기 위해.
• 최신 ImageNet 분류기인 ResNets와 비전 트랜스포머를 포함한 현대적인 모델들에 대해 기하학적 강건성을 경험적으로 벤치마킹하기 위해.
• 모델의 깊이와 넓이가 적대적 변환 하에서 기하학적 강건성에 미치는 영향을 조사하기 위해.

제안 방법

• GeoRobust는 립시츠 이론 기반의 전역 최적화 전략을 사용하여 기하학적 변환의 최악의 조합을 증명 가능하게 탐지한다.
• 공간 변환 네트워크(STNs)가 립시츠 연속임을 증명함으로써, 립시츠 연속성 DNN와 함께 스택할 경우 이론적 수렴 보장을 가능하게 한다.
• 지속적인 변환 매개변수 공간을 효율적으로 탐색하기 위해 공간 분할 전략과 적응형 샘플링을 사용한다.
• 함수 쿼리의 가속화를 위해 GPU 기반 샘플링 전략을 도입하고, 여러 변환 후보에 대한 병렬 평가를 가능하게 한다.
• 모든 정지 시간에 검증 가능한 신뢰구간을 제공하기 위해, 언제라도 하한 추정 방법을 사용한다. 이는 실용적 사용성을 향상시킨다.
• 이 방법은 블랙박스로 작동하며, 입력-출력 쿼리 외에는 추가 정보가 필요 없어, 아키텍처나 활성화 함수에 관계없이 어떤 DNN에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 블랙박스이자 증명 가능한 수렴 보장이 있는 방법이 대규모 DNN를 속이는 복합 기하학적 변환의 최악의 조합을 효율적으로 탐지할 수 있는가?
• RQ2 STNs의 립시츠 연속성이 기하학적 강건성 검증에서 이론적 보장을 어떻게 가능하게 하는가?
• RQ3 현대적인 ImageNet 분류기들에서 모델 크기(깊이 및 넓이)와 기하학적 강건성 간의 관계는 어떠한가?
• RQ4 GeoRobust의 성능은 변환 매개변수 수와 모델 복잡도에 따라 어떻게 스케일링되는가?
• RQ5 적대적 기하학적 공격는 표준 적대적 훈련으로 보완되지 않는 아키텍처적 취약점을 얼마나 심각하게 악용하는가?

주요 결과

• GeoRobust는 ImageNet의 ResNet50 모델에 대해 최악의 기하학적 변환을 평균 6.9초에서 16.1초 사이에 탐지한다. 이는 설정에 따라 달라진다.
• ResNets와 비전 트랜스포머를 포함한 18개의 ImageNet 분류기에서 DNN의 기하학적 강건성은 파라미터 수와 정확히 상관관계를 가진다.
• 깊이를 늘리는 것보다 넓이를 늘리는 것이 기하학적 강건성을 더 효과적으로 향상시키며, 이는 깊이가 강건성에 있어 더 효율적인 설계 선택임을 시사한다.
• 효율적인 GPU 병렬 처리 덕분에 쿼리 수에 비해 실행 시간이 부분선형적으로 증가하여 빠른 수렴이 가능하다.
• 실행 중 내림표 추정치는 지속적으로 향상되며, 이는 언제라도 추정 전략의 효과성을 입증한다.
• 적대적 훈련은 기하학적 강건성을 유의미하게 향상시키지 못하며, 이는 현재의 방어 방법이 기하학적 공격에 효과적이지 않을 수 있음을 시사한다.