[논문 리뷰] On Evaluating Adversarial Robustness

Nicholas Carlini, Anish Athalye외 7명|arXiv (Cornell University)|2019. 02. 18.

Adversarial Robustness in Machine Learning참고 문헌 73인용 수 580

한 줄 요약

이 논문은 적대적 예제에 대한 방어를 평가하기 위한 방법론적 지침을 제공하며, 위협 모델, 적응 공격, 재현성 및 일반적인 함정을 피하기 위한 구조화된 평가 체크리스트를 강조합니다.

ABSTRACT

Correctly evaluating defenses against adversarial examples has proven to be extremely difficult. Despite the significant amount of recent work attempting to design defenses that withstand adaptive attacks, few have succeeded; most papers that propose defenses are quickly shown to be incorrect. We believe a large contributing factor is the difficulty of performing security evaluations. In this paper, we discuss the methodological foundations, review commonly accepted best practices, and suggest new methods for evaluating defenses to adversarial examples. We hope that both researchers developing defenses as well as readers and reviewers who wish to understand the completeness of an evaluation consider our advice in order to avoid common pitfalls.

연구 동기 및 목표

• 적대적 예제에 대한 방어를 평가하는 것이 보안과 강인성에 왜 중요한지 동기를 부여한다.
• 현실적인 위협 모델에 기초한 방어 평가를 위한 원칙에 입각한 방법론을 정의한다.
• 일반적인 평가의 함정을 피하기 위한 포괄적이고 실행 가능한 체크리스트를 제공한다.

제안 방법

• 평가를 안내하기 위한 적대자의 목표, 능력, 지식을 포함한 위협 모델을 정의한다.
• 제시된 위협 모델하에서 적응적 적대자와 엔드-투-엔드 방어 테스트를 옹호한다.
• 코드 및 사전학습 모델 공개를 포함한 재현 가능한 연구 관행을 권장한다.
• 방어를 점검하기 위한 일반적인 심각한 결함과 함정이 포함된 구조화된 평가 체크리스트를 제공한다.
• 실제로 방어를 시험하기 위해 강하고 적응적이며 다양한 공격에 우선순위를 두도록 제안한다.

실험 결과

연구 질문

• RQ1 적대적 강건성 평가를 위한 엄격한 위협 모델은 무엇으로 구성되는가?
• RQ2 현실적인 조건에서 강건성 주장이 지속되도록 적응적 적대자에 맞춰 방어를 어떻게 테스트해야 하는가?
• RQ3 방어 평가에 어떤 최선의 관례와 재현성 표준이 함께해야 하는가?
• RQ4 가장 흔하게 강건성 주장을 약화시키는 일반적인 평가의 결함은 무엇이며 어떻게 피할 수 있는가?

주요 결과

• 방어에 맞춤화된 적응적 공격은 강건성 주장을 검증하는 데 필수적이다.
• 화이트박스 평가에서는 방어자에 대한 완전한 지식을 가정해야 하며; 기밀성은 반증 가능성을 약화시킨다.
• 소스 코드와 사전학습 모델의 공개는 평가의 신뢰성을 크게 향상시킨다.
• 구조화된 지속 가능한 평가 체크리스트가 방어 평가에서 일반적인 결함을 식별하고 방지하는 데 도움이 된다.
• 평가에서는 클린 정확도와 공격하에서의 강건성을 모두 보고해야 하며, 다양한 공격 전략과 하이퍼파라미터를 포함한다.