[논문 리뷰] Embedding Java Classes with code2vec: Improvements from Variable Obfuscation

Rhys Compton, Eibe Frank외 2명|Research Commons (University of Waikato)|2020. 04. 06.

Software Engineering Research참고 문헌 16인용 수 19

한 줄 요약

이 논문은 코드2벡터 임베딩을 향상시키기 위해 훈련 중에 변수 이름을 가로막음으로써 Java 클래스에 대한 임베딩을 개선하는 방법을 제안한다. 이는 모델이 코드의 구조에 의존하도록 유도하고, 어휘적 신호에 의존하지 않도록 한다. 또한 간단한 집계 기법을 도입하여 클래스 수준의 임베딩을 생성함으로써, 변수 이름의 변형에 강건하고 더 의미적으로 정확한 임베딩을 얻을 수 있게 되었으며, 이는 새로운 소스 코드 분류 벤치마크 데이터셋을 통해 검증되었다.

ABSTRACT

Automatic source code analysis in key areas of software engineering, such as code security, can benefit from Machine Learning (ML). However, many standard ML approaches require a numeric representation of data and cannot be applied directly to source code. Thus, to enable ML, we need to embed source code into numeric feature vectors while maintaining the semantics of the code as much as possible. code2vec is a recently released embedding approach that uses the proxy task of method name prediction to map Java methods to feature vectors. However, experimentation with code2vec shows that it learns to rely on variable names for prediction, causing it to be easily fooled by typos or adversarial attacks. Moreover, it is only able to embed individual Java methods and cannot embed an entire collection of methods such as those present in a typical Java class, making it difficult to perform predictions at the class level (e.g., for the identification of malicious Java classes). Both shortcomings are addressed in the research presented in this paper. We investigate the effect of obfuscating variable names during the training of a code2vec model to force it to rely on the structure of the code rather than specific names and consider a simple approach to creating class-level embeddings by aggregating sets of method embeddings. Our results, obtained on a challenging new collection of source-code classification problems, indicate that obfuscating variable names produces an embedding model that is both impervious to variable naming and more accurately reflects code semantics. The datasets, models, and code are shared for further ML research on source code.

연구 동기 및 목표

• 코드2벡터가 변수 이름에 의존하는 것을 해결함으로써, 오타나 악성 공격에 취약한 문제를 해결한다.
• 코드2벡터를 개선하여 개별 메서드를 넘어서 클래스 수준의 소스 코드 임베딩을 가능하게 하여 악성 코드 탐지와 같은 작업에 활용한다.
• 변수 이름과 같은 어휘적 특징에 대한 의존도를 줄임으로써 코드 임베딩의 의미적 정확도를 향상시킨다.
• 집계된 메서드 표현을 사용하여 실용적인 클래스 수준 임베딩 생성 방법을 개발하고 평가한다.
• 연구를 지원하기 위해 데이터셋, 모델, 코드를 공개한다.

제안 방법

• 코드2벡터 훈련 중에 Java 소스 코드의 변수 이름을 가로막아 모델이 특정 식별자에 기반한 패턴을 학습하지 못하도록 한다.
• 가로막힌 코드로 코드2벡터 모델을 훈련시켜 어휘적 신호 대신 구조적 및 구문적 특징을 학습하도록 한다.
• 간단한 풀링 연산(예: 평균 또는 최대값)을 사용해 개별 메서드 임베딩을 집계하여 전체 Java 클래스에 대한 단일 벡터 표현을 형성한다.
• 결과로 도출된 클래스 수준 임베딩을 악성 코드 식별과 같은 후속 분류 작업에 활용한다.
• 악성 및 가로막힌 변형을 포함한 새로운 소스 코드 분류 문제 벤치마크 데이터셋에서 성능을 평가한다.
• 재현성과 소스 코드에 대한 기계 학습 연구를 위한 향후 연구를 지원하기 위해 훈련된 모델, 데이터셋, 코드를 공개한다.

실험 결과

연구 질문

• RQ1 코드2벡터 훈련 중에 변수 이름을 가로막을 경우, 모델이 변수 이름과 같은 어휘적 특징에 의존하는 정도가 감소하는가?
• RQ2 코드2벡터의 메서드 수준 임베딩을 집계함으로써 효과적인 클래스 수준 임베딩을 구성할 수 있는가?
• RQ3 가로막힌 모델의 성능은 표준 및 악성 변형 테스트 케이스에서 원본 코드2벡터 모델과 비교해 어떻게 되는가?
• RQ4 결과로 도출된 임베딩이 표면적인 이름 패턴이 아닌 진정한 코드 의미를 얼마나 잘 반영하는가?
• RQ5 제안된 방법이 도전적인 소스 코드 데이터셋에서 분류 정확도를 향상시킬 수 있는가?

주요 결과

• 훈련 중 변수 이름을 가로막음으로써 모델이 어휘적 특징에 의존하는 정도가 크게 감소하여, 변수 이름의 변형과 악성 변형에 강건해졌다.
• 새로운 소스 코드 분류 작업을 위한 새로운 벤치마크 데이터셋에서 성능 향상으로 인해, 결과 임베딩이 더 의미적으로 정확하다는 것이 입증되었다.
• 간단한 풀링 전략을 사용해 메서드 임베딩을 집계하면 고수준 소스 코드 분석에 적합한 효과적인 클래스 수준 표현이 도출된다.
• 가로막힌 코드로 훈련된 모델은 표준 및 악성 테스트 케이스 양쪽에서 원본 코드2벡터 모델보다 성능이 뛰어나다.
• 공개된 데이터셋, 모델, 코드는 소프트웨어 공학을 위한 기계 학습 연구에 있어 유용한 자원을 제공한다.