[논문 리뷰] secml: A Python Library for Secure and Explainable Machine Learning.

Marco Melis, Ambra Demontis외 3명|arXiv (Cornell University)|2019. 12. 20.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 35

한 줄 요약

secml은 딥 뉴럴 네트워크와 SVM과 같은 모델에 대해 흰상자 및 검은상자 적대적 공격(예: 회피 공격 및 오염 공격)을 구현함으로써 보안성 있고 설명 가능한 기계학습을 가능하게 하는 오픈소스 파이썬 라이브러리입니다. 성능 저하 곡선을 통한 보안 평가와 특성 및 프로토타입 시각화를 통한 모델 결정 해석을 지원하여 모델의 해석 가능성과 내공성 평가를 향상시킵니다.

ABSTRACT

We present secml, an open-source Python library for secure and explainable machine learning. It implements the most popular attacks against machine learning, including not only test-time evasion attacks to generate adversarial examples against deep neural networks, but also training-time poisoning attacks against support vector machines and many other algorithms. These attacks enable evaluating the security of learning algorithms and of the corresponding defenses under both white-box and black-box threat models. To this end, secml provides built-in functions to compute security evaluation curves, showing how quickly classification performance decreases against increasing adversarial perturbations of the input data. secml also includes explainability methods to help understand why adversarial attacks succeed against a given model, by visualizing the most influential features and training prototypes contributing to each decision. It is distributed under the Apache License 2.0, and hosted at this https URL.

연구 동기 및 목표

• 적대적 공격에 대비한 기계학습 모델의 보안성을 평가하기 위한 통합된 오픈소스 플랫폼을 제공하는 것.
• 딥 뉴럴 네트워크와 SVM을 포함한 다양한 알고리즘에서 테스트 시점 회피 공격과 학습 시점 오염 공격을 모두 지원하는 것.
• 정량적 성능 저하 곡선을 사용하여 백그라운드 공격 모델(백그라운드 공격 모델)과 흰상자 공격 모델 모두에서 보안 평가를 가능하게 하는 것.
• 각 예측의 배경이 되는 가장 영향력 있는 특성과 학습 프로토타입을 식별함으로써 모델의 해석 가능성 향상.
• 재현 가능한 공격 및 평가 워크플로우를 통해 강건한 기계학습 방어 기법의 개발과 벤치마킹을 촉진하는 것.

제안 방법

• 딥 뉴럴 네트워크와 SVM에 대한 적대적 공격 알고리즘의 구현, 회피 및 오염 유형 포함.
• 흰상자 및 검은상자 공격 모델을 모두 지원하여 보안 평가의 유연성을 확보.
• 증가하는 교란 수준에서의 성능 저하를 정량화하는 보안 평가 곡선을 계산하기 위한 내장 기능 통합.
• 각 예측에 대해 가장 영향력 있는 특성과 학습 프로토타입을 시각화하는 설명 가능성 기법 통합.
• 연구자와 실무자들이 쉽게 확장하고 접근할 수 있도록 Apache 라이선스 2.0를 사용.
• 새로운 공격, 방어 기법 및 해석 가능성 방법을 쉽게 통합할 수 있도록 모듈화되고 확장 가능한 아키텍처 설계.

실험 결과

연구 질문

• RQ1 다양한 교란 수준에서 적대적 공격이 딥 뉴럴 네트워크와 SVM의 성능을 얼마나 효과적으로 저하시키는가?
• RQ2 적대적 예제가 존재하는 상황에서 모델 예측의 배경이 되는 핵심 특성과 학습 프로토타입은 무엇인가?
• RQ3 다양한 기계학습 알고리즘에서 회피 공격과 오염 공격의 유형이 모델의 내공성에 어떤 영향을 미치는가?
• RQ4 보안 평가 곡선이 모델의 적대적 교란에 대한 취약성을 얼마나 정량적으로 측정할 수 있는가?
• RQ5 설명 가능성 기법은 어떤 방식으로 특정 모델이 적대적 조건에서 실패하는 이유를 이해하는 데 기여하는가?

주요 결과

• secml은 증가하는 적대적 교란 수준에서 성능 저하 곡선을 자동으로 생성함으로써 모델 보안성의 체계적 평가를 가능하게 합니다.
• 라이브러리에서는 교란 강도가 증가함에 따라 분류 정확도가 감소하는 것을 성공적으로 캡처하여 모델의 취약성에 대한 정량적 측정치를 제공합니다.
• secml의 설명 가능성 기능은 모델 결정에 기여하는 가장 영향력 있는 입력 특성과 학습 프로토타입을 식별하여 적대적 실패의 근본 원인 분석을 지원합니다.
• 회피 공격과 오염 공격를 모두 통합함으로써 다양한 공격 모델과 학습 알고리즘에서 포괄적인 보안 테스트를 지원합니다.
• 오픈소스이자 Apache 2.0 라이선스를 적용한 설계 덕분에 향후 적대적 기계학습 및 모델 해석 가능성 분야의 연구에서 재현성과 확장성이 향상됩니다.