[논문 리뷰] A critique of the DeepSec Platform for Security Analysis of Deep Learning Models

Nicholas Carlini|arXiv (Cornell University)|2019. 05. 17.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 7

한 줄 요약

이 논문은 적대적 로버스트니 평가를 위한 DeepSec 플랫폼을 철저히 평가하며, 실험 설계, 구현, 분석에 근본적인 결함을 드러낸다. DeepSec의 결과는 잘못된 공격/방어 구현, 부적절한 통계 기법, 유효하지 않은 평가 프로토콜로 인해 오해의 소지가 있으며, 이는 딥러닝 모델의 적대적 로버스트니를 평가하는 데 있어 그 결론을 신뢰할 수 없게 만든다.

ABSTRACT

At IEEE S&P 2019, the paper "DeepSec: A Uniform Platform for Security Analysis of Deep Learning Model" aims to to "systematically evaluate the existing adversarial attack and defense methods." While the paper's goals are laudable, it fails to achieve them and presents results that are fundamentally flawed and misleading. We explain the flaws in the DeepSec work, along with how its analysis fails to meaningfully evaluate the various attacks and defenses. Specifically, DeepSec (1) evaluates each defense obliviously, using attacks crafted against undefended models; (2) evaluates attacks and defenses using incorrect implementations that greatly under-estimate their effectiveness; (3) evaluates the robustness of each defense as an average, not based on the most effective attack against that defense; (4) performs several statistical analyses incorrectly and fails to report variance; and, (5) as a result of these errors draws invalid conclusions and makes sweeping generalizations.

연구 동기 및 목표

• DeepSec 플랫폼의 적대적 공격 및 방어 평가를 위한 방법론에 내재된 근본적인 결함을 규명하고 폭 드러내는 것.
• DeepSec의 실험 설계가 딥러닝 모델의 로버스트니에 관해 오해의 소지가 있는 잘못된 결론을 이끌어내는 방식으로 작용함을 입증하는 것.
• 구현, 통계 분석, 위협 모델 처리에 있어 심각한 오류들이 DeepSec의 보고된 결과의 신뢰성에 심각한 영향을 미침을 강조하는 것.
• 연구 공동체가 적대적 로버스트니 비교 연구에 있어 DeepSec의 결과에 의존하는 것을 경고하는 것.

제안 방법

• DeepSec에서 평가된 모든 공격 및 방어 기법을 클린룸 방식으로 재구현하여 정확성을 검증하였다.
• DeepSec의 구현을 CleverHans에 구현된 기존의 오픈소스 구현과 비교하여 격차를 파악하였다.
• 공격 성공률에 대한 통계 분석을 수행하여 변동성을 정량화하고 보고된 결과의 유의미성을 평가하였다.
• 잘못된 초모수, 손실 함수, 모델 아키텍처가 PGD 적대적 훈련 성능에 미치는 영향을 평가하였다.
• 위협 모델 간 평균 로버스트니를 계산함으로써 결과의 유효성에 영향을 미치는 요소를 분석하였다.
• DeepSec가 보고한 공격 성공률과 이전 연구 및 정확한 구현 간의 일관성 없는 점을 식별하고 문서화하였다.

실험 결과

연구 질문

• RQ1 DeepSec의 공격 및 방어 기법 구현이 이전 연구에서 보고된 원래 방법과 결과를 얼마나 정확히 반영하고 있는가?
• RQ2 DeepSec에서 잘못된 방식으로 구현된 공격 및 방어 기법이 보고된 로버스트니 지표의 유효성에 어떤 영향을 미치는가?
• RQ3 왜 평균 로버스트니를 최악의 경우 로버스트니 대신 사용하는 것이 적대적 로버스트니 평가에서 근본적으로 잘못된 것인가?
• RQ4 PGD 적대적 훈련에서 잘못된 초모수, 모델 아키텍처, 손실 함수가 방어 기법 평가에 어떤 영향을 미치는가?
• RQ5 각 방어 기법의 원래 범위나 왜곡 한계를 고려하지 않고 여러 위협 모델(ℓ∞, ℓ0, ℓ2)을 통해 방어 기법을 평가할 경우 어떤 영향을 미치는가?

주요 결과

• DeepSec는 MNIST에 대해 ℓ∞=0.3일 때 FGSM 공격 성공률을 30.4%로 보고했지만, 정확한 재구현 결과는 66%를 기록하여 공격 효과가 크게 과소 평가됨을 확인하였다.
• JSMA 공격의 경우 DeepSec는 76%의 성공률을 보고했지만, 공식 CleverHans 구현은 95%를 기록하여 심각한 구현 결함이 드러났다.
• DeepSec는 CIFAR-10에 대해 ℓ∞=0.2일 때 PGD 공격 성공률을 82.4%로 보고했지만, 이는 이전 연구에서 보고한 100% 성공률와 모순되며, 잘못된 구현을 시사한다.
• DeepSec의 PGD 적대적 훈련 구현은 잘못된 손실 함수를 사용하고, 모델 용량을 작게 설정하며, 83개 에포크 대신 20개 에포크만 수행하여 성능에 대한 잘못된 결론을 이끌어냈다.
• 플랫폼은 ℓ∞, ℓ0, ℓ2 위협 모델 간 평균 로버스트니를 계산하여 실제 공격 행동을 반영하지 못하는 의미 없는 지표를 생성하였다.
• DeepSec의 방어 기법 평가가 잘못되었는데, 이는 공격가 방어 기법의 위협 모델에 최적화되지 않은 공격을 적용하고, 일부 공격에 대해 샘플의 일부만 평가하기 때문에 비교 결과가 통계적으로 의미가 없기 때문이다.