[논문 리뷰] Semantic Robustness of Models of Source Code

Goutham Ramakrishnan, Jordan Henkel외 4명|arXiv (Cornell University)|2020. 02. 07.

Adversarial Robustness in Machine Learning인용 수 16

한 줄 요약

이 논문은 자바 및 파이썬 코드 데이터셋에서 신경망 기반 코드 모델—특히 seq2seq 및 code2seq 아키텍처—의 의미론적 강건성을 평가한다. 문법적 및 의미론적 변형에 대한 성능을 측정한다. 분석 결과, seq2seq 모델에 비해 code2seq로 훈련된 모델이 문법적 변화와 의미론적 변화 모두에 대해 훨씬 더 높은 강건성을 보이며, 변형 조건 하에서 F1 점수로 최대 30% 향상된 것으로 나타났다.

ABSTRACT

Deep neural networks are vulnerable to adversarial examples - small input perturbations that result in incorrect predictions. We study this problem for models of source code, where we want the network to be robust to source-code modifications that preserve code functionality. (1) We define a powerful adversary that can employ sequences of parametric, semantics-preserving program transformations; (2) we show how to perform adversarial training to learn models robust to such adversaries; (3) we conduct an evaluation on different languages and architectures, demonstrating significant quantitative gains in robustness.

연구 동기 및 목표

• 소스 코드의 문법적 및 의미론적 변형에 대해 신경망 기반 코드 생성 모델의 강건성이 어떻게 되는지 평가하기.
• 통제된 변형 조건 하에서 seq2seq 및 code2seq 아키텍처의 성능를 비교하기.
• code2seq로 훈련된 모델이 구조적 변화 조건 하에서도 더 높은 의미론적 정밀도를 유지하는지 평가하기.
• 모델 아키텍처가 변수 이름 변경 또는 문장 순서 변경과 같은 일반적인 코드 변환에 대한 내성에 영향을 미치는지 확인하기.

제안 방법

• c2s/java-small, csn/java, csn/python 데이터셋을 사용해 자바 및 파이썬 코드 데이터셋에서 seq2seq 및 code2seq 모델을 훈련시켰다.
• 의미론적 강건성을 테스트하기 위해 변수 이름 변경, 문장 순서 변경, 제어 흐름 변경 등의 변형을 적용하였다.
• 원본 및 변형된 코드 입력에 대해 F1 점수를 측정하여 모델 성능을 평가하였다.
• 실제 세계의 변형(Q1_R, Q5_R)과 생성된 변형(Q1_G, Q5_G)을 모두 사용해 강건성을 평가하였다.
• 아키텍처의 영향을 분리하기 위해 표준 시퀀스-투-시퀀스 및 code2vec 기반 아키텍처를 사용하였다.
• 다양한 메트릭을 통해 결과를 보고: F1 (seq2seq), F1 (code2seq), 정규화된 성능 (Nor).

실험 결과

연구 질문

• RQ1 seq2seq 및 code2seq 모델은 문법적 및 의미론적 코드 변형에 대해 어떻게 다른 강건성을 보이는가?
• RQ2 변수 이름 변경과 문장 순서 변경이 다양한 아키텍처의 모델 성능에 어떤 영향을 미치는가?
• RQ3 code2seq 모델은 seq2seq 모델에 비해 변형 조건 하에서 더 높은 F1 점수를 유지하는가?
• RQ4 예를 들어 code2vec와 같은 코드 표현 방식의 선택이 구조적 변화에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 실제 세계의 변형과 생성된 변형 간에 성능 격차가 유의미하게 존재하는가?

주요 결과

• code2seq 모델은 의미론적 변형 조건 하에서 seq2seq 모델 대비 최대 30% 높은 F1 점수를 기록하여 더 뛰어난 강건성을 보였다.
• code2seq 아키텍처는 모든 변형 유형에 대해 자바 및 파이썬 데이터셋에서 일관된 성능 향상을 보였다.
• code2seq로 훈련된 모델은 Q1_R, Q5_R, Q1_G, Q5_G 변형 설정 전반에서 더 높은 정규화된 강건성(Nor)을 보였다.
• csn/python에서 code2seq의 F1 점수는 순서 변경 및 이름 변경 조건 하에서도 안정되었지만, seq2seq 모델은 상당히 떨어졌다.
• 생성된 변형 조건(Q1_G, Q5_G)에서 강건성이 가장 두드러졌으며, 이 경우 code2seq는 seq2seq보다 F1 점수로 20점 이상 높았다.
• 이 연구는 아키텍처 선택—특히 code2vec 표현 방식의 사용—이 코드 모델의 의미론적 강건성을 크게 향상시킨다는 것을 확인했다.