[논문 리뷰] Boosting Source Code Learning with Text-Oriented Data Augmentation: An Empirical Study

Zeming Dong, Qiang Hu외 6명|arXiv (Cornell University)|2023. 03. 13.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 자연어 처리(NLP) 및 그래프 학습에서 개발된 텍스트 기반 및 그래프 기반 데이터 증강 기법이 딥 네ural 네트워크(DNN)를 사용한 소스 코드 학습에서 얼마나 효과적인지 조사한다. 선형 보간 방법인 SenMixup와 Manifold-Mixup는 모델 정확도를 최대 8.74% 향상시키고 강건성도 향상시켜 기존의 코드 리팩터링 기법을 뛰어넘으며, 특히 데이터가 적은 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Recent studies have demonstrated remarkable advancements in source code learning, which applies deep neural networks (DNNs) to tackle various software engineering tasks. Similar to other DNN-based domains, source code learning also requires massive high-quality training data to achieve the success of these applications. Data augmentation, a technique used to produce additional training data, is widely adopted in other domains (e.g. computer vision). However, the existing practice of data augmentation in source code learning is limited to simple syntax-preserved methods, such as code refactoring. In this paper, considering that source code can also be represented as text data, we take an early step to investigate the effectiveness of data augmentation methods originally designed for natural language texts in the context of source code learning. To this end, we focus on code classification tasks and conduct a comprehensive empirical study across four critical code problems and four DNN architectures to assess the effectiveness of 25 data augmentation methods. Our results reveal specific data augmentation methods that yield more accurate and robust models for source code learning. Additionally, we discover that the data augmentation methods remain beneficial even when they slightly break source code syntax.

연구 동기 및 목표

• 소스 코드 학습에서 레이블이 부여된 훈련 데이터가 제한되어 있어 모델 성능이 저하되는 문제를 해결하기 위해.
• NLP 및 그래프 학습에서 유래한 데이터 증강 기법이 소스 코드 표현에 효과적으로 적용될 수 있는지 조사하기 위해.
• 다양한 증강 기법이 여러 DNN 아키텍처와 코드 작업에서 정확도 및 강건성에 미치는 영향을 평가하기 위해.
• 코드 학습 모델의 일반화 능력과 내성 강도를 향상시키는 데 가장 효과적인 데이터 증강 전략을 특정하기 위해.

제안 방법

• 저자들은 NLP 및 그래프 학습 분야에서 유래한 11종의 데이터 증강 기법을 조사하고 분류한다. 이에는 mixup 변종 및 토큰 수준의 변형이 포함된다.
• 이들 기법을 소스 코드에 적용하기 위해 코드 임베딩과 AST 표현에 적용함으로써 의미를 유지하면서도 통제 가능한 변형을 도입한다.
• 본 연구는 클론 탐지, 취약성 탐지, 버그 탐지, 문제 분류의 네 가지 핵심 코드 작업에 대해 대규모 실험 평가를 수행한다.
• 모델은 사전 훈련된 모델과 고유한 아키텍처를 갖춘 11종의 다양한 DNN 아키텍처를 사용하여 일반화 능력을 평가한다.
• 평가 지표로는 정확도, 적대적 공격에 대한 강건성(예: 공격 성공률), 그리고 저자료 조건 하에서의 성능을 포함한다.
• 각 기법의 영향을 분리하기 위해 증강 기법을 기준선인 코드 리팩터링 및 아블레이션 연구와 비교한다.

실험 결과

연구 질문

• RQ1 RQ1: 기존의 데이터 증강 기법은 데이터 증강 없이 훈련하는 것에 비해 더 정확한 코드 모델을 생성할 수 있는가?
• RQ2 RQ2: 이러한 기법들은 적대적 입력에 대한 코드 모델의 강건성을 향상시킬 수 있는가?
• RQ3 RQ3: 다양한 DNN 아키텍처와 하류 코드 작업에서 서로 다른 증강 전략은 어떻게 성능을 내는가?
• RQ4 RQ4: 저자료 훈련 환경에서 가장 효과적인 증강 기법은 무엇인가?

주요 결과

• SenMixup(텍스트용) 및 Manifold-Mixup(그래프용)과 같은 선형 보간 기법은 데이터 증강 없이 훈련한 기준선 대비 최대 8.74%의 정확도 향상을 보였다.
• 텍스트 기반 증강 기법인 랜덤 스왑은 공격 성공률을 5.67% 감소시켜 강건성 향상 효과가 뚜렷했다.
• 구문를 약간 수정하는 기법들, 예를 들어 랜덤 삭제 및 랜덤 스왑은 사전 훈련된 프로그래밍 언어 모델에 특히 효과적이었다.
• 특징 벡터 혼합 기반 증강(예: mixup)은 대부분의 DNN 아키텍처에서 기존의 코드 리팩터링 기법보다 정확도와 강건성 면에서 뛰어났다.
• 증강의 효과는 모델 유형에 따라 달라졌다: mixup 기법은 사전 훈련되지 않은 모델에서 가장 잘 작동했고, 랜덤 스왑과 같은 구문 파괴 기법은 사전 훈련된 모델에서 뛰어난 성능을 보였다.
• 본 연구는 데이터 증강이 특히 훈련 데이터가 부족한 상황에서 코드 학습을 향상시키는 데 핵심적인 요소임을 확인했다.