[논문 리뷰] Unveiling Code Pre-Trained Models: Investigating Syntax and Semantics Capacities

Wei Ma, Shangqing Liu외 6명|arXiv (Cornell University)|2022. 12. 20.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 새로운 탐색 작업을 통해 CodeBERT와 GraphCodeBERT의 문법 및 의미 학습 능력을 조사한다. AST를 사용한 문법 특화 작업과 제어 흐름, 데이터 종속성, 제어 종속성 그래프를 사용한 의미 작업을 설계하여, 두 모델이 문법을 효과적으로 학습하고 있으며, GraphCodeBERT가 제어 흐름과 데이터 종속성 의미를 CodeBERT보다 더 잘 포착한다는 것을 밝혀냈다.

ABSTRACT

Past research has examined how well these models grasp code syntax, yet their understanding of code semantics still needs to be explored. We extensively analyze seven code models to investigate how code models represent code syntax and semantics. This includes four prominent code pre-trained models (CodeBERT, GraphCodeBERT, CodeT5, and UnixCoder) and three large language models (StarCoder, CodeLlama, and CodeT5+). We have developed four probing tasks to evaluate the models' abilities to learn code syntax and semantics. These tasks focus on reconstructing code syntax and semantic structures-such as AST, CFG, CDG, and DDG - within the models' representation spaces. These structures are fundamental to understanding code. Additionally, we explore the role of syntax tokens in each token representation and the extended dependencies among code tokens. Furthermore, we examine the distribution of attention weights concerning code semantic structures. Through detailed analysis, our results emphasize the strengths and weaknesses of various code models in mastering code syntax and semantics. The findings reveal that these models are proficient in grasping code syntax, effectively capturing the relationships and roles of syntax tokens. However, their ability to encode code semantics shows more variability. This study enriches our understanding of the capabilities of code models in analyzing syntax and semantics. Our findings offer valuable insights for future code model enhancements, helping optimize their application across a range of code-related tasks.

연구 동기 및 목표

• 코드 사전학습 모델인 CodeBERT와 GraphCodeBERT가 프로그램의 문법과 의미를 효과적으로 학습할 수 있는지 조사하기 위해.
• 고차원 공간에서의 거리 기반 방법에 의존하는 이전 연구의 한계를 해결하기 위해. 이러한 방법은 차원의 저주 문제를 야기한다.
• 사전학습 모델에 인코딩된 의미 지식에 대한 체계적인 분석을 제공하며, 특히 제어 흐름, 데이터 종속성, 제어 종속성에 중점을 둔다.
• 어 attention 헤드와 레이어가 의미 정보를 인코딩하는 데 어떻게 기여하는지 조사하여 모델의 해석 가능성에 대한 통찰을 제공한다.
• AST와 정적 분석 그래프를 사용하여 탐색 작업의 외부 타당성을 검증함으로써, 이 작업들이 진정한 문법과 의미를 대표하는지 확인한다.

제안 방법

• 문법 탐색 작업 두 가지를 설계한다: (1) AST 구조를 사용한 문법 노드 쌍 예측, (2) 문법 규칙 인코딩을 평가하기 위한 토큰 문법 태깅 예측.
• 의미 탐색 작업을 위해 제어 흐름 그래프(CFG), 데이터 종속성 그래프(DDG), 제어 종속성 그래프(CDG)를 구축한다.
• 의미 탐색 작업 세 가지를 개발한다: (1) 의미 관계 예측, (2) 의미 전파 예측(inGraph), (3) 타입 추론.
• CodeBERT와 GraphCodeBERT의 문맥적 표현에서 선형 분류기를 훈련시어, 이들이 문법 및 의미 사실을 얼마나 잘 복원하는지 평가한다.
• 레이어 간 행동 일관성을 분석하기 위해 스피어만의 순위 상관관계(ρ)를 사용한다.
• 헤드와 레이어 간의 주의 가중치에 대한 통계 분석을 수행하여 의미 정보 인코딩에 기여하는 역할을 규명한다.

실험 결과

연구 질문

• RQ1 CodeBERT와 GraphCodeBERT와 같은 코드 사전학습 모델이 프로그램 문법을 효과적으로 학습할 수 있는가? 그리고 다양한 문법 구조에서 성능는 어떻게 비교되는가?
• RQ2 CodeBERT와 GraphCodeBERT가 프로그램 의미를 얼마나 잘 학습하는가? 특히 제어 흐름, 데이터 종속성, 제어 종속성 정보에 대해 어느 정도의 수준으로 학습하는가?
• RQ3 어느 attention 헤드와 레이어가 의미 지식 인코딩에 서로 다른 방식으로 기여하는가?
• RQ4 탐색 작업이 진정으로 프로그램의 문법과 의미를 대표하는 데 외부 타당성이 있는가? 그리고 고차원 거리 기반 평가 방법의 함정을 피하고 있는가?
• RQ5 CodeBERT와 GraphCodeBERT의 표현이 문법 및 의미 사실을 포착하는 데 있어 레이어 간 일관성이 얼마나 있는가?

주요 결과

• AST 기반의 문법 노드 쌍 예측 및 토큰 태깅 작업에서 높은 성능을 기록함으로써, CodeBERT와 GraphCodeBERT 모두 프로그램 문법 학습 능력이 뛰어나다는 것이 입증되었다.
• CFG 및 DDG 기반 탐색 작업에서의 뛰어난 성능을 통해, GraphCodeBERT가 제어 흐름과 데이터 종속성 의미를 CodeBERT보다 더 잘 학습한다는 것이 확인되었다.
• 두 모델 모두 제어 종속성 정보 학습 능력이 유사하며, CDG 기반 탐색 작업에서 유의미한 성능 차이가 없었다.
• 두 모델의 최종 레이어 표현은 풍부한 의미 정보를 담고 있으나, 다양한 의미 사실을 인코딩하는 데 서로 다른 attention 헤드와 레이어가 기여한다.
• 주의 가중치에 대한 통계 분석 결과, 특정 헤드와 레이어가 서로 다른 의미 유형에 특화되어 있음을 확인하여, 의미 이해를 위한 이질적인 주의 메커니즘이 존재함을 시사한다.
• 탐색 작업은 외부 타당성이 있으며, AST와 정적 분석 그래프에 기반하여 고차원 거리 기반 평가 방법의 단점을 피하고 있음을 입증되었다.