[논문 리뷰] Foolbox v0.8.0: A Python toolbox to benchmark the robustness of machine learning models

Jonas Rauber, Wieland Brendel외 1명|arXiv (Cornell University)|2017. 07. 13.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 349

한 줄 요약

Foolbox v0.8.0는 기계 학습 모델의 강건성을 측정하기 위해 모델을 속이기 위한 최소한의 교란을 측정함으로써 적대적 교란을 생성하고 벤치마킹하기 위한 파이썬 도구상자이다. 다양한 딥러닝 프레임워크를 지원하며, 내부 하이퍼파rameter 튜닝이 구현된 다양한 공격 방법을 구현하고, 다양한 적대적 기준과 거리 측정법을 사용한 비교 평가를 가능하게 한다.

ABSTRACT

Even todays most advanced machine learning models are easily fooled by almost imperceptible perturbations of their inputs. Foolbox is a new Python package to generate such adversarial perturbations and to quantify and compare the robustness of machine learning models. It is build around the idea that the most comparable robustness measure is the minimum perturbation needed to craft an adversarial example. To this end, Foolbox provides reference implementations of most published adversarial attack methods alongside some new ones, all of which perform internal hyperparameter tuning to find the minimum adversarial perturbation. Additionally, Foolbox interfaces with most popular deep learning frameworks such as PyTorch, Keras, TensorFlow, Theano and MXNet and allows different adversarial criteria such as targeted misclassification and top-k misclassification as well as different distance measures. The code is licensed under the MIT license and is openly available at this https URL . The most up-to-date documentation can be found at this http URL .

연구 동기 및 목표

• 다양한 기계 학습 모델 간에 적대적 예제를 생성하기 위한 통합적이고 접근 가능한 도구를 제공하기 위해.
• 적대적 예제를 생성하기 위해 필요한 최소 교란을 사용하여 모델의 강건성에 대한 정량적 비교를 가능하게 하기 위해.
• PyTorch, Keras, TensorFlow, Theano, MXNet를 포함한 다양한 딥러닝 프레임워크를 지원하기 위해.
• 목표 지정 오분류 및 상위-k 오분류와 같은 다양한 적대적 기준을 제공하기 위해.
• 표준화된 거리 측정법과 공격 방법의 기준 구현을 통해 재현 가능한 강건성 평가를 촉진하기 위해.

제안 방법

• Foolbox는 출판된 적대적 공격 방법의 기준 구현을 구현하며, 기존의 방법과 신규 방법을 모두 포함한다.
• 각 공격에 대해 내부 하이퍼파rameter 튜닝을 수행하여 성공적인 적대적 예제를 생성할 수 있는 최소한의 교란 크기를 최소화한다.
• 표준화된 모델 인터페이스를 통해 다양한 딥러닝 프레임워크를 지원하여 광범위한 호환성을 확보한다.
• 사용자가 특정 타겟 클래스로 오분류하거나 상위-k 클래스 중 하나로 오분류하는 등의 다양한 적대적 기준을 정의할 수 있다.
• L2 또는 L∞ 노름과 같은 거리 측정법을 사용하여 교란 크기를 정량화함으로써 일관된 강건성 측정을 보장한다.
• 코드베이스는 MIT 라이선스 하에 오픈소스이며, 온라인에서 포괄적인 문서를 제공한다.

실험 결과

연구 질문

• RQ1 표준 적대적 공격 방법을 사용할 때 주어진 기계 학습 모델을 속이기 위해 필요한 최소 교란은 얼마인가?
• RQ2 다양한 적대적 공격 방법 간에 오분류를 달성하기 위해 필요한 최소 교란 크기를 비교하면 어떻게 되는가?
• RQ3 통합된 프레임워크를 사용하여 다양한 모델 간에 강건성을 정량적으로 측정하고 비교할 수 있는 정도는 어느 정도인가?
• RQ4 Foolbox는 다양한 딥러닝 프레임워크와 효과적으로 통합될 수 있으며, 일관된 평가 기준을 유지할 수 있는가?
• RQ5 공격 간 내부 하이퍼파rameter 튜닝이 강건성 벤치마킹을 위한 최소 적대적 교란을 일관되게 도출할 수 있는가?

주요 결과

• Foolbox는 어떤 주어진 모델에 대해서도 최소 적대적 교란을 식별할 수 있게 하여 표준화된 강건성 지표를 제공한다.
• 이 도구상자는 PyTorch, Keras, TensorFlow, Theano, MXNet를 포함한 주요 딥러닝 프레임워크와 성공적으로 통합된다.
• 공격 방법 간의 내부 하이퍼파rameter 튜닝이 교란 크기를 일관되게 감소시켜 강건성 측정의 정확도를 향상시킨다.
• 목표 지정 및 상위-k 오분류와 같은 다양한 적대적 기준 지원은 강건성 평가의 유연성을 향상시킨다.
• MIT 라이선스 하에 오픈소스로 제공되는 Foolbox는 재현 가능성과 적대적 강건성 연구의 커뮤니티 기반 확장을 촉진한다.
• 포괄적인 문서와 활발한 유지보수 덕분에 연구자와 실무자 모두가 접근 가능하고 사용하기 쉽게 보장된다.