[논문 리뷰] STRATA: Building Robustness with a Simple Method for Generating Black-box Adversarial Attacks for Models of Code.

Jacob M. Springer, Bryn Marie Reinstadler외 1명|arXiv (Cornell University)|2020. 09. 28.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 4

한 줄 요약

이 논문은 의미를 유지하면서도 기능적 의미를 보존하는 악성 예제를 생성하기 위한 단순하고 효율적인 블랙박스 방법인 STRATA를 제안한다. 계산 비용을 줄이며 기울기 기반 방법보다 뛰어난 성능을 보이며, 악성 훈련을 통해 강건성을 확보함으로써 공격 시 code2seq의 F1 점수를 42% 감소시키지만, 방어를 통해 기준 성능의 99%로 복원시킨다.

ABSTRACT

Adversarial examples are imperceptible perturbations in the input to a neural model that result in misclassification. Generating adversarial examples for source code poses an additional challenge compared to the domains of images and natural language, because source code perturbations must adhere to strict semantic guidelines so the resulting programs retain the functional meaning of the code. We propose a simple and efficient black-box method for generating state-of-the-art adversarial examples on models of code. Our method generates untargeted and targeted attacks, and empirically outperforms competing gradient-based methods with less information and less computational effort. We also use adversarial training to construct a model robust to these attacks; our attack reduces the F1 score of code2seq by 42%. Adversarial training brings the F1 score on adversarial examples up to 99% of baseline.

연구 동기 및 목표

• 기능적 의미를 유지하면서 탐지되는 것을 피하는 코드 모델에서의 악성 예제 생성 과제를 해결하기 위해.
• 최소한의 모델 정보와 계산 자원을 요구하는 블랙박스 공격 방법을 개발하기 위해.
• 효과적인 악성 훈련을 통해 코드 모델의 악성 예제에 대한 강건성을 향상시키기 위해.
• 실제 코드 모델 환경에서 공격 및 방어의 효과성을 평가하기 위해.

제안 방법

• STRATA는 소스 코드에 작은 의미적으로 타당한 변형을 가하여 악성 예제를 생성하며, 원래 프로그램의 기능을 유지한다.
• 이 방법은 기울기 접근 없이 모델 예측 결과만을 요구하는 블랙박스 환경에서 작동한다.
• 의미적 및 구문적 코드 변형에 대한 검색 기반 접근을 사용하여 오분류를 유도하는 변형을 찾는다.
• 공격는 무타겟 및 타겟 방식을 모두 지원하여 모델의 강건성에 대한 다양한 평가가 가능하다.
• 생성된 악성 예제를 사용하여 악성 훈련을 적용하여 모델를 보정하고 내성 강도를 향상시킨다.
• 이 방법은 계산 오버헤드를 최소화하면서도 공격 성공률을 극대화하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 의미적 정확성을 유지하면서도 높은 성공률을 달성할 수 있는 코드 모델을 대상으로 한 블랙박스 악성 공격를 설계할 수 있는가?
• RQ2 공격 효과성과 계산 비용 측면에서 제안된 방법이 기울기 기반 방법과 비교해 어떻게 다른가?
• RQ3 악성 훈련을 통해 제안된 공격에 대해 코드 모델을 얼마나 효과적으로 방어할 수 있는가?
• RQ4 공격가 모델 성능에 어떤 영향을 미치며, 방어를 통해 얼마나 잘 강건성을 회복할 수 있는가?

주요 결과

• STRATA는 기울기 기반 방법보다 훨씬 적은 계산 자원으로 코드 모델에서 최고 수준의 공격 성능를 달성한다.
• 공격 시 code2seq 모델의 F1 점수는 42% 감소하여 높은 효과성을 입증한다.
• STRATA가 생성한 예제를 사용한 악성 훈련을 통해 모델의 F1 점수는 원래 기준 성능의 99%로 복원된다.
• 이 방법은 무타겟 및 타겟 공격 시나리오 모두에서 효과적이며, 광범위한 적용 가능성을 보여준다.
• 코드의 의미적 제약 조건이 존재하더라도 공격가 여전히 효과적이므로, 강건성과 실용성을 입증한다.
• 악성 훈련을 통한 방어는 높은 모델 정확도를 유지하면서도 악성 입력에 대한 저항력을 크게 향상시킨다.