[논문 리뷰] Indicators of Attack Failure: Debugging and Improving Optimization of Adversarial Examples

Maura Pintor, Luca Demetrio외 5명|arXiv (Cornell University)|2021. 06. 18.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 이미지, 오디오, 악성코드 도메인의 15개 모델에서 경량 기반 적대적 공격 최적화에서 발생하는 일반적인 실패, 예를 들어 기울기 가로막힘과 완전한 수렴이 이루어지지 않는 문제를 자동으로 탐지하고 디버깅하기 위해 여섯 가지 새로운 공격 실패 지표(IoAF)를 소개한다. 이러한 지표를 체계적인 프로토콜에 적용함으로써 저자들은 이전에 발견되지 않았던 공격 구현의 결함을 식별하고 수정하였으며, 이는 더 신뢰할 수 있는 적대적 강건성 평가로 이어졌다.

ABSTRACT

Evaluating robustness of machine-learning models to adversarial examples is a challenging problem. Many defenses have been shown to provide a false sense of robustness by causing gradient-based attacks to fail, and they have been broken under more rigorous evaluations. Although guidelines and best practices have been suggested to improve current adversarial robustness evaluations, the lack of automatic testing and debugging tools makes it difficult to apply these recommendations in a systematic manner. In this work, we overcome these limitations by: (i) categorizing attack failures based on how they affect the optimization of gradient-based attacks, while also unveiling two novel failures affecting many popular attack implementations and past evaluations; (ii) proposing six novel indicators of failure, to automatically detect the presence of such failures in the attack optimization process; and (iii) suggesting a systematic protocol to apply the corresponding fixes. Our extensive experimental analysis, involving more than 15 models in 3 distinct application domains, shows that our indicators of failure can be used to debug and improve current adversarial robustness evaluations, thereby providing a first concrete step towards automatizing and systematizing them. Our open-source code is available at: https://github.com/pralab/IndicatorsOfAttackFailure.

연구 동기 및 목표

• 기계학습 모델에서 공격 평가의 결함으로 인해 과도하게 평가된 적대적 강건성 문제를 해결한다.
• 적대적 강건성 평가가 잘못된 결과를 낳는 기인하는 기울기 기반 공격 최적화의 일반적인 실패를 특정한다.
• 적대적 평가 중에 이러한 실패를 탐지하기 위한 자동화되고 체계적인 지표를 개발한다.
• 식별된 실패를 수정하고 강건성 평가의 신뢰도를 향상시키기 위한 프로토콜을 제안한다.
• 공격 구현의 미세한 결함을 탐지함으로써 복제 가능하고 신뢰할 수 있는 방어 평가를 가능하게 한다.

제안 방법

• 기울기 기반 공격 최적화에서 특정 최적화 문제를 탐지할 수 있는 여섯 가지 정량적 공격 실패 지표(IoAF)를 정의한다.
• IoAF를 기울기 분석, 손실 안정성, 예측 일관성, 공격 성공률을 분석하는 메트릭으로 체계화한다.
• 평가 파이프라인에 통합하기 위해 의사코드 및 오픈소스 도구로 IoAF를 구현한다.
• 기울기 가로막힘, 침묵적 성공, 최적화가 완료되지 않은 문제 등 실패를 탐지하기 위해 지표를 적용한다.
• IoAF 값을 활용해 공격 실패를 진단하고 수정하는 체계적이고 반자동화된 프로토콜을 설계한다.
• 실제 방어 평가를 사용하여 이미지, 오디오, 악성코드 도메인의 15개 모델에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 기울기 기반 적대적 공격 최적화에서 이전에 발견되지 않았던 일반적인 실패는 무엇이며, 이로 인해 강건성이 과도하게 평가되는가?
• RQ2 공격 최적화 과정에서 이러한 실패를 정량적 지표를 사용해 체계적으로 탐지할 수 있는가?
• RQ3 인기 있는 라이브러리들(예: Foolbox, Cleverhans)에서의 결함 있는 공격 실행이 잘못된 강건성 평가에 기여하는 정도는 어느 정도인가?
• RQ4 제안된 IoAF 지표와 프로토콜이 실제 방어에 대한 적대적 강건성 평가의 신뢰도를 향상시킬 수 있는가?
• RQ5 IoAF 지표가 공격 파이프라인에서 기울기 가로막힘과 완전한 수렴이 이루어지지 않는 문제를 어떻게 식별하고 수정하는 데 도움이 되는가?

주요 결과

• 저자들은 기존에 인기 있는 공격 라이브러리에서 발견되지 않았던 두 가지 새로운 공격 실패 유형—침묵적 성공과 비제약 공격 실패—를 식별하였다.
• IoAF 지표는 이전에 평가된 13개의 방어 모델에서 기울기 가로막힘과 최적화가 완료되지 않은 문제를 성공적으로 탐지하였다.
• 제안된 프로토콜과 IoAF 지표를 사용한 재평가 과정에서 최근에 발표된 7개의 방어 모델이 공격 실행의 결함으로 인해 강건성이 크게 과도하게 평가된 것으로 밝혀졌다.
• 공격 최적화 과정에서 예측 불안정성과 손실 불안정성 등의 실패를 탐지함으로써 이 방법은 강건성 평가의 신뢰도를 향상시켰다.
• IoAF의 오픈소스 구현은 복제 가능성을 보장하고 표준 평가 워크플로우에 쉽게 통합할 수 있게 하여 적대적 테스트에서 인간의 실수를 줄였다.
• IoAF 값에 기반한 체계적인 프로토콜은 실무자들이 공격 구현 결함를 자동으로 탐지하고 수정할 수 있게 하여 방어 평가의 신뢰성과 신뢰도를 향상시켰다.