[논문 리뷰] Evaluating the Adversarial Robustness of Adaptive Test-time Defenses

Francesco Croce, Sven Gowal외 4명|arXiv (Cornell University)|2022. 02. 28.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 이미지 분류에서 최근 9가지 방법을 대상으로 적응형 테스트 시점 방어(추론 중에 최적화하여 강건성을 향상시키는 방어)를 평가한다. 비록 그 잠재력은 크지만, 저자들은 대부분의 방어가 정적 방어보다 성능 향상을 이룩하지 못하고, 일부는 강건성을 약화시키며, 모든 경우에 추론 비용이 증가함을 발견한다. 이는 AutoAttack과 같은 표준 공격 외에 철저하고 특화된 평가 프로토콜이 필요함을 시사한다.

ABSTRACT

Adaptive defenses, which optimize at test time, promise to improve adversarial robustness. We categorize such adaptive test-time defenses, explain their potential benefits and drawbacks, and evaluate a representative variety of the latest adaptive defenses for image classification. Unfortunately, none significantly improve upon static defenses when subjected to our careful case study evaluation. Some even weaken the underlying static model while simultaneously increasing inference computation. While these results are disappointing, we still believe that adaptive test-time defenses are a promising avenue of research and, as such, we provide recommendations for their thorough evaluation. We extend the checklist of Carlini et al. (2019) by providing concrete steps specific to adaptive defenses.

연구 동기 및 목표

• 적응형 테스트 시점 방어가 정적 방어 대비 고도로 강건한 성능을 유의미하게 향상시키는지 평가하는 것.
• 적응형 방어의 동적이고 최적화 기반의 성격으로 인해 평가 과정에서 발생하는 제약 조건과 오류를 식별하고 분석하는 것.
• Carlini 등(2019)의 기존 평가 프레임워크를 바탕으로, 방어 유형에 맞는 구체적인 강건성 테스트 권고 사항을 추가하는 것.
• 표준 공격(예: AutoAttack)이 적응형 방어 평가에 부적절하며, 강건성에 대한 과도한 평가를 유도할 수 있음을 보여주는 것.
• 강건성 향상과 추론 비용 간의 트레이드오프를 고려한 계산 인식 평가 접근법을 제안하는 것.

제안 방법

• 적응형 테스트 시점 방어를 입력 공간 정제 및 모델 파라미터/활성화 값 적응 전략으로 분류한다.
• 다양한 공격 전략을 적용: 대체 모델을 사용한 전이 공격, 블랙박스 공격(Square, RayS), 리스타트 기반 백그라디언트 공격(APGD).
• 방어의 최적화 과정에서 비미분 가능 성분을 처리하기 위해 BPDA 근사치를 사용한다.
• 방어의 무작위성 처리를 위해 EoT(변환에 대한 기대값) 또는 고정된 시드를 적용한다.
• 통계적 신뢰성을 확보하기 위해, 적응형으로 훼손된 입력에 대해 반복 평가(5회)를 수행한다.
• 각 방어의 최적화 메커니즘에 맞춰 맞춤형 적응형 공격을 구현하여, 비적응형 공격 대비 더 강력한 공격 능력을 확보한다.

실험 결과

연구 질문

• RQ1 적응형 테스트 시점 방어가 기반 정적 모델 대비 강건성을 유의미하게 향상시키는가?
• RQ2 AutoAttack과 같은 표준 평가 방법이 적응형 방어의 취약성을 탐지하지 못하는 정도는 어느 정도인가?
• RQ3 적응형 방어의 계산 비용은 실제 강건성 향상과 비교해 어떻게 되는가?
• RQ4 어떤 공격 전략이 적응형 테스트 시점 방어를 가장 효과적으로 무너뜨리는가?
• RQ5 어떤 평가 관행이 적응형 방어의 강건성 과도 평가를 방지하는가?

주요 결과

• 평가한 9개의 적응형 테스트 시점 방어 중 어느 것도 기반 정적 모델의 강건성보다 향상되지 않았다.
• 9개 방어 중 4개는 맞춤형 공격을 받은 후 상대적 강건성 감소율이 50% 이상으로 나타나, 강건성에 대한 과도한 평가가 있었음을 시사한다.
• 모든 적응형 방어는 정적 방어보다 훨씬 높은 추론 계산 비용을 요구했으며, 이에 상응하는 강건성 향상은 없었다.
• 일부 방어는 기반 정적 모델의 성능을 떨어뜨렸는데, 이는 테스트 시점 최적화가 성능을 악화시킬 수 있음을 시사한다.
• AutoAttack과 같은 표준 공격은 적응형 방어에 대해 효과적이거나 잘못된 결과를 낼 수 있었으며, APGD 리스타트 및 BPDA 근사치를 포함한 맞춤형 강력한 공격이 필요했다.
• 본 연구는 대체 모델을 사용한 전이 공격과 블랙박스 공격(e.g., Square, RayS)이 적응형 방어 평가에 있어 필수적임을 확인했다.