[논문 리뷰] Enhancing Security Patch Identification by Capturing Structures in Commits

Bozhi Wu, Shangqing Liu외 4명|arXiv (Cornell University)|2022. 07. 19.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 코드 변경 사항과 커밋 메시지 양쪽에서 구조적 정보를 캡처하는 새로운 딥러닝 접근법인 E-SPI를 제안한다. 코드에 대해 문맥적 AST 경로를 사용하는 BiLSTM와 커밋 메시지의 종속성 그래프에 대해 게이트드 그래프 신경망(GNN)을 활용함으로써, E-SPI는 벤치마크 데이터에서 최신 기술 대비 4.01% 높은 정확도와 4.42% 높은 F1 스코어를 달성하며, 실제 운영 환경에서도 추가적인 성능 향상을 보였다.

ABSTRACT

With the rapid increasing number of open source software (OSS), the majority of the software vulnerabilities in the open source components are fixed silently, which leads to the deployed software that integrated them being unable to get a timely update. Hence, it is critical to design a security patch identification system to ensure the security of the utilized software. However, most of the existing works for security patch identification just consider the changed code and the commit message of a commit as a flat sequence of tokens with simple neural networks to learn its semantics, while the structure information is ignored. To address these limitations, in this paper, we propose our well-designed approach E-SPI, which extracts the structure information hidden in a commit for effective identification. Specifically, it consists of the code change encoder to extract the syntactic of the changed code with the BiLSTM to learn the code representation and the message encoder to construct the dependency graph for the commit message with the graph neural network (GNN) to learn the message representation. We further enhance the code change encoder by embedding contextual information related to the changed code. To demonstrate the effectiveness of our approach, we conduct the extensive experiments against six state-of-the-art approaches on the existing dataset and from the real deployment environment. The experimental results confirm that our approach can significantly outperform current state-of-the-art baselines.

연구 동기 및 목표

• 공개되지 않은 채로 수정된 보안 취약성을 수정하는 '침묵하는 보안 패치' 식별이라는 핵심 과제를 해결한다.
• 기존 방법들이 코드 변경 사항과 커밋 메시지를 평탄한 시퀀스로만 다루며, 구조적 의미를 간과하는 한계를 극복한다.
• 코드 변경 사항의 문법적 구조와 커밋 메시지의 의미적 종속성을 캡처함으로써 보안 패치 식별을 향상시킨다.
• 단순히 변경된 코드에 국한되지 않고, 더 넓은 맥락을 반영한 문맥적 AST 경로를 통합함으로써 코드 표현을 향상시켜 모델의 일반화 능력을 높인다.
• 제안된 방법이 벤치마크 데이터셋과 실제 운영 환경 모두에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 변경된 코드 내부와 그 맥락과 관련된 문맥적 AST 경로를 추출하기 위해 BiLSTM를 사용하는 AST 기반 코드 변경 인코더를 설계한다.
• 커밋 메시지에서 종속성 그래프를 구성하고, 게이트드 그래프 신경망(GGNN)을 적용하여 토큰 수준의 종속성을 모델링하고 맥락 기반 메시지 표현을 학습한다.
• 학습된 코드 표현과 메시지 표현을 앙상블 기반 통합 방식으로 융합하여 분류 성능을 향상시킨다.
• 변경된 코드 영역에만 국한되지 않고, 그와 연결된 AST 경로를 포함시켜 코드 표현을 확장함으로써 더 넓은 맥락적 의미를 포착한다.
• 이중 분류를 위한 소프트맥스 분류기와 교차 엔트로피 손실을 사용하여 엔드 투 엔드 모델을 훈련시킨다.
• 코드 토큰과 자연어 단어에 대한 사전 학습된 임베딩을 활용하여 표현 품질 향상과 모델 수렴 속도 향상을 도모한다.

실험 결과

연구 질문

• RQ1 AST 경로를 통한 코드 변경 사항의 구조적 정보 모델링이 평탄한 토큰 시퀀스를 넘어서 보안 패치 식별 성능을 향상시킬 수 있는가?
• RQ2 의존성 구문 분석과 그래프 신경망이 커밋 메시지의 의미 관계를 효과적으로 모델링하여 패치 식별 성능을 향상시킬 수 있는가?
• RQ3 변경된 코드 영역을 초월한 맥락 기반 AST 경로를 통합함으로써 보안 패치 식별의 강건성과 정확도가 향상되는가?
• RQ4 제안된 E-SPI 모델은 통제된 데이터셋과 실제 운영 환경 모두에서 최신 기술 대비 어떻게 비교되는가?
• RQ5 구조적 모델링과 맥락 기반 표현 학습이 보안 패치 식별의 전체 성능 향상에 얼마나 기여하는가?

주요 결과

• 벤치마크 데이터셋에서 E-SPI는 최고의 베이스라인 대비 4.01% 높은 정확도와 4.42% 높은 F1 스코어를 기록하여 뚜렷한 성능 향상을 입증했다.
• 실제 운영 환경에서 E-SPI는 최신 기술 대비 정확도 6.03% 향상과 F1 스코어 7.38% 향상을 달성했다.
• 변경된 코드 영역을 초월한 맥락 기반 AST 경로 통합은 코드 표현 품질 향상에 명확한 기여를 했다.
• 커밋 메시지의 종속성 그래프에 게이트드 그래프 신경망을 적용함으로써 의미적 종속성이 효과적으로 포착되었으며, 평탄한 시퀀스 모델링을 능가했다.
• 제안된 방법은 합성 데이터와 실제 데이터를 포함한 다양한 평가 환경에서 기존 접근법을 일관되게 능가했다.
• 제거 실험 결과, AST 기반 코드 인코더와 그래프 기반 메시지 인코더 모두 최종 성능에 기여하는 바가 크며, 설계 선택의 타당성을 검증했다.