[논문 리뷰] Technical Report on the CleverHans v2.1.0 Adversarial Examples Library

Nicolas Papernot, Fartash Faghri외 24명|arXiv (Cornell University)|2016. 10. 03.

Adversarial Robustness in Machine Learning참고 문헌 2인용 수 404

한 줄 요약

CleverHans v2.1.0는 강건한 모델 벤치마킹과 적대적 학습을 가능하게 하는 적대적 공격 및 방어의 표준화된 TensorFlow 참조 구현을 제공합니다.

ABSTRACT

CleverHans is a software library that provides standardized reference implementations of adversarial example construction techniques and adversarial training. The library may be used to develop more robust machine learning models and to provide standardized benchmarks of models' performance in the adversarial setting. Benchmarks constructed without a standardized implementation of adversarial example construction are not comparable to each other, because a good result may indicate a robust model or it may merely indicate a weak implementation of the adversarial example construction procedure. This technical report is structured as follows. Section 1 provides an overview of adversarial examples in machine learning and of the CleverHans software. Section 2 presents the core functionalities of the library: namely the attacks based on adversarial examples and defenses to improve the robustness of machine learning models to these attacks. Section 3 describes how to report benchmark results using the library. Section 4 describes the versioning system.

연구 동기 및 목표

• 적대적 예시 구성 기법의 표준화된 참조 구현 제공.
• 적대적 학습 및 강건한 모델 개발 가능하게.
• 공통 공격 라이브러리를 사용하여 벤치마크 결과의 비교 가능성을 보장.
• 라이브러리 구조, 버전 관리 및 벤치마크 보고 지침을 설명.

제안 방법

• Attack 인터페이스와 다수의 구체적 공격 알고리즘을 갖춘 attacks 모듈을 구현.
• 다양한 프레임워크(Keras, TensorFlow 등)와의 통합을 위한 Model 추상화를 제공.
• 훈련 파이프라인 내에서 적대적 학습 등 방어 기법을 포함.
• 재현 가능한 벤치마크와 버전된 결과를 보장하기 위한 보고 지침을 제공.
• 벤치마크의 비교 가능성을 위해 시맨틱 버전 관리 채택 및 릴리스 노트 문서화.

실험 결과

연구 질문

• RQ1 표준화된 공격 구현이 적대적 강건성 벤치마크의 비교 가능성을 어떻게 향상시킬 수 있는가?
• RQ2 CleverHans v2.1.0에 어떤 공격과 방어가 구현되어 있으며 이것들이 다양한 모델 프레임워크와 어떻게 상호작용하는가?
• RQ3 연구자들이 버전 간 재현성을 보장하기 위해 벤치마크 결과를 어떻게 보고해야 하는가?

주요 결과

• 공격 라이브러리에는 FGSM, BIM, PGD, CW, EAD, JSMA, DeepFool, SPSA 등이 포함되며, 이에 대응하는 generate 함수가 있다.
• 방어책은 주로 훈련 파이프라인 내에서 구현된 적대적 학습에 중점을 둔다.
• 버전 관리 가이드는 호환성, 재현성 및 공격 방법 및 구성의 명시적 보고를 강조한다.
• 라이브러리는 오픈 소스이며 TensorFlow 기반이고 인터페이스 차원에서 프레임워크에 구애받지 않도록 설계되었다.
• 벤치마크 보고는 비교 가능성을 보장하기 위해 CleverHans 버전과 공격 구성 설정을 명시해야 한다.