[논문 리뷰] MORA: Improving Ensemble Robustness Evaluation with Model-Reweighing Attack

Yunrui Yu, Xitong Gao외 1명|arXiv (Cornell University)|2022. 11. 15.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 적대적 예제 생성 중 각 하위 모델의 '공격 용이도'를 기반으로 하위 모델의 중요도를 적응적으로 조정함으로써 앙상블의 강건성 평가를 향상시키는 MORA라는 모델 재가중 공격을 제안한다. MORA는 최신 기술 대비 유의미하게 빠른 수렴 속도와 높은 성공률을 달성하며, CIFAR-10에서 ℓ∞ 노이즈 0.02, CIFAR-100에서 0.01일 때 많은 앙상블 방어 기법이 강건성 측면에서 심각하게 과대평가되고 있음을 드러낸다.

ABSTRACT

Adversarial attacks can deceive neural networks by adding tiny perturbations to their input data. Ensemble defenses, which are trained to minimize attack transferability among sub-models, offer a promising research direction to improve robustness against such attacks while maintaining a high accuracy on natural inputs. We discover, however, that recent state-of-the-art (SOTA) adversarial attack strategies cannot reliably evaluate ensemble defenses, sizeably overestimating their robustness. This paper identifies the two factors that contribute to this behavior. First, these defenses form ensembles that are notably difficult for existing gradient-based method to attack, due to gradient obfuscation. Second, ensemble defenses diversify sub-model gradients, presenting a challenge to defeat all sub-models simultaneously, simply summing their contributions may counteract the overall attack objective; yet, we observe that ensemble may still be fooled despite most sub-models being correct. We therefore introduce MORA, a model-reweighing attack to steer adversarial example synthesis by reweighing the importance of sub-model gradients. MORA finds that recent ensemble defenses all exhibit varying degrees of overestimated robustness. Comparing it against recent SOTA white-box attacks, it can converge orders of magnitude faster while achieving higher attack success rates across all ensemble models examined with three different ensemble modes (i.e., ensembling by either softmax, voting or logits). In particular, most ensemble defenses exhibit near or exactly 0% robustness against MORA with $\ell^\infty$ perturbation within 0.02 on CIFAR-10, and 0.01 on CIFAR-100. We make MORA open source with reproducible results and pre-trained models; and provide a leaderboard of ensemble defenses under various attack strategies.

연구 동기 및 목표

• 기존 최신 기술 공격 기반으로 앙상블 방어 기법의 강건성 평가가 어떻게 과대평가되고 있는지 규명하고 이를 해결하고자 한다.
• 특히 소프트맥스와 같은 앙상블 구성 전략에서 발생하는 기울기 가려움과 기울기 분산 현상이 약한 강건성 평가의 근본 원인인지 탐구하고자 한다.
• 다양한 앙상셀 형성 전략에 걸쳐 진정으로 강건한 앙상블 방어 기법을 정확히 평가할 수 있는 더 효과적이고 신뢰할 수 있는 공격 방법을 개발하고자 한다.
• 실증적으로 큰 앙상셀을 구성하는 것이 실제로 강건성을 떨어뜨릴 수 있으며, 방어 설계에서 일반적으로 받아들여지는 가정에 도전하고자 한다.
• 표준화되고 발전 가능한 앙상셀 방어 기법 평가를 위해 재현 가능하고 오픈소스 기반의 랭킹 보드를 포함한 벤치마크를 제공하고자 한다.

제안 방법

• MORA는 각 하위 모델의 기울기를 기반으로 한 '공격 용이도'를 고려해 공격 중 하위 모델의 기여도를 동적으로 재가중하는 메커니즘을 도입한다.
• 앙상블 출력과 각 개별 하위 모델 출력 간의 차이의 기울기를 계산하여 상대적 취약도를 평가한다.
• 수렴 속도와 성공률 향상을 위해 적응적 스텝 사이즈 스케줄링, 모멘타임, 손실 정규화 기법을 사용한다.
• 소프트맥스, 투표, 로지트 전략의 세 가지 전략에 대해 ℓ∞ 노이즈 기반 평가를 수행한다.
• 반복적으로 적용되며, 각 스텝에서 더 쉽게 속일 수 있는 하위 모델을 우선순위로 재가중한다.
• 성능 및 강건성 평가 정확도 검증을 위해 화이트박스 환경에서 PGD, C&W, APGD, AutoAttack와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기존 최신 기술 공격가 왜 앙상셀 방어 기법의 강건성 평가를 신뢰할 수 없을까?
• RQ2 소프트맥스와 같은 앙상셀 구성 전략에서 기울기 가려움 현상이 얼마나 강건성 과대평가를 유도하는가?
• RQ3 다양한 하위 모델 간의 기울기 분산 현상이 기존의 기울기 합산 전략을 어떻게 약화시키는가?
• RQ4 대부분의 하위 모델를 속이려면 앙상셀까지 속이려면 반드시 필수적인가에 대한 근본적인 결함이 존재하는가?
• RQ5 앙상셀 내 하위 모델 수를 늘리는 것이 실제로 공격 훈련 하에서 강건성을 향상시키는지, 아니면 악화시키는가?

주요 결과

• MORA는 최근 앙상셀 방어 기법이 심각하게 과대평가되고 있음을 드러내며, CIFAR-10에서 ℓ∞ 노이즈 0.02, CIFAR-100에서 0.01일 때 많은 기법이 거의 또는 정확히 0%의 강건성을 보인다.
• 기존 기준 공격 기법인 AA 및 PGD 대비 최대 60배 빠른 수렴 속도를 기록하며, 500회 반복 이내에 높은 성공률을 달성한다.
• 로지트 기반 앙상셀 구성 전략이 소프트맥스 및 투표 전략보다 모든 테스트 방어 기법에서 가장 강건한 성능을 보였다.
• 더 큰 앙상셀(예: 8개 하위 모델)은 오히려 강건성을 떨어뜨릴 수 있으며, 더 많은 모델이 항상 방어 성능을 향상시킨다는 가정에 도전한다.
• 대부분의 하위 모델가 정확할지라도, 소수의 하위 모델만 속이면 전체 앙상셀을 오도하는 데 충분하다.
• 다양한 하위 모델의 기울기를 합산하는 것이 공격 효과를 상쇄시킬 수 있으며, 이는 통합 앙상셀 손실 최소화 전략이 효과를 상실하게 만든다.