[논문 리뷰] Semantic-Preserving Adversarial Code Comprehension

Yiyang Li, Hongqiu Wu외 1명|arXiv (Cornell University)|2022. 09. 12.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 의미 유지 가능한 적대적 코드 임베딩(SPACE)를 제안하며, 이는 사전 훈련된 언어 모델(PrLM)의 코드 이해 능력을 향상시키기 위해 연속적인 임베딩 공간에서 악성 적대적 변형을 생성함으로써 코드의 의미와 문법적 정확성을 유지한다. SPACE는 모델의 성능과 강건성을 동시에 향상시켜, CodeBERT 및 GraphCodeBERT와 같은 강력한 베이스라인을 여러 벤치마크에서 능가하며, 최신 공격 기법들에 대해 10퍼센트 이상의 적대적 성공률 감소를 보였다.

ABSTRACT

Based on the tremendous success of pre-trained language models (PrLMs) for source code comprehension tasks, current literature studies either ways to further improve the performance (generalization) of PrLMs, or their robustness against adversarial attacks. However, they have to compromise on the trade-off between the two aspects and none of them consider improving both sides in an effective and practical way. To fill this gap, we propose Semantic-Preserving Adversarial Code Embeddings (SPACE) to find the worst-case semantic-preserving attacks while forcing the model to predict the correct labels under these worst cases. Experiments and analysis demonstrate that SPACE can stay robust against state-of-the-art attacks while boosting the performance of PrLMs for code.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PrLM)의 소스 코드 이해 과제에서 성능과 강건성 간의 상충 관계를 해결하기 위해.
• 프로그래밍 언어의 특성에 맞게 연속적인 임베딩 공간에서가 아니라 이산 토큰 공간에서의 적대적 훈련의 타당성과 효율성을 탐색하기 위해.
• 적대적 훈련 중 의미 의미 유지와 문법적 정확성을 유지할 수 있는 실용적이고 기울기 기반의 방법을 개발하기 위해.
• PrLM의 일반화 성능과 강건성을 동시에 향상시키기 위해.

제안 방법

• SPACE는 코드 토큰의 연속 임베딩 공간에서 최악의 상황을 고려한 적대적 변형을 생성하며, 직접적으로 이산 토큰을 수정하지는 않는다.
• 이 방법은 의미 유지와 문법적 정확성을 유지하는 데 가장 해로운 변형을 찾기 위해 기울기 기반 최적화를 사용한다.
• 변형은 키워드와 구조적 토큰을 그대로 두고, 식별자 임베딩에만 영향을 미치도록 제약을 둔다. 이는 문법적 정합성을 유지하기 위함이다.
• 이 방법은 자연스럽게 기울기 기반 훈련 프레임워크에 쉽게 통합되며, 소스 코드 변경이 최소한이 된다.
• 적대적 훈련과 프로그래밍 언어의 도메인 특성(예: 의미 유지 및 문법적 타당성)을 결합한다.
• 기울기 기반 및 무작위 변형 기반의 베이스라인과의 비교를 통해, 강건성과 성능 면에서 뛰어난 성능을 입증했다.

실험 결과

연구 질문

• RQ1 연속적인 임베딩 공간에서의 적대적 훈련은 의미 유지와 문법 정확성을 훼손하지 않으면서도, PrLM의 성능과 강건성을 동시에 향상시킬 수 있는가?
• RQ2 이산 토큰을 수정하는 표준 적대적 훈련과 비교해, 의미 유지 가능한 적대적 훈련은 어떠한가?
• RQ3 얼마나 깊이까지 임베딩 공간의 변형이 문법적 정확성과 의미 유지 능력을 유지하면서도 효과적인 적대적 예제로 기능할 수 있는가?
• RQ4 제안된 방법은 CodeBERT 및 GraphCodeBERT와 같은 강력한 베이스라인 모델보다 청소 및 적대적 환경 모두에서 뛰어난 성능을 보일 수 있는가?
• RQ5 실제 의미 유지 코드 변환(예: 식별자 이름 변경, 제어 흐름 변경 등)에 대해 모델은 얼마나 강건한가?

주요 결과

• SPACE는 CodeSearchNet에서 평균 2.65%의 정확도 향상과 CodeXGLUE에서 2.62%의 정확도 향상을 기록하여, CodeBERT 및 GraphCodeBERT의 성능을 다수의 코드 이해 과제에서 크게 향상시켰다.
• CodeQA 데이터셋에서, SPACE는 모든 테스트 공격 방법에 대해 GraphCodeBERT의 적대적 성공률(ASR)을 10퍼센트 이상 감소시켜, 뛰어난 강건성을 입증했다.
• 기본 모델 대비, CodeBERT와 GraphCodeBERT에 대해 각각 평균 3.6%와 4.5%의 성능 저하 감소를 기록하여, 의미 유지 코드 변환에 대한 강건성을 향상시켰다.
• 모든 토큰에 대해 수행한 일반적인 적대적 훈련은 강건성 향상에 거의 기여하지 않아(0.5% 미만), 의미 및 문법적 정합성을 유지하지 못한다는 것을 시사한다.
• 기울기 기반 변형은 랜덤 변형보다 항상 더 효과적이며, 의미 유지 제약 조건이 추가로 강건성을 향상시킨다.
• 이 방법은 실용적이고 효율적이며, 기울기 기반 특성 덕분에 기존 훈련 파이프라인에 몇 줄의 코드만 추가하면 통합이 가능하다.