[논문 리뷰] Probing Pretrained Models of Source Code

Sergey Troshin, Nadezhda Chirkova|arXiv (Cornell University)|2022. 02. 16.

Software Engineering Research인용 수 8

한 줄 요약

이 논문은 사전 훈련된 코드 모델이 소스 코드의 구문적 및 의미적 성질을 얼마나 잘 이해하는지 진단하기 위한 종합적인 프로빙 프레임워크를 소개한다. 선형 프로빙을 통해 은닉 표현에 대해 분석한 결과, 모델들은 문법, 이름 붙이기, 네임스페이스 구조를 포착하지만 의미적 동치성은 특히 피니튜닝 이후 어려움을 겪으며, 코드 전용 사전 훈련 목표가 특정 코드 성질에 대한 이해를 향상시킨다.

ABSTRACT

Deep learning models are widely used for solving challenging code processing tasks, such as code generation or code summarization. Traditionally, a specific model architecture was carefully built to solve a particular code processing task. However, recently general pretrained models such as CodeBERT or CodeT5 have been shown to outperform task-specific models in many applications. While pretrained models are known to learn complex patterns from data, they may fail to understand some properties of source code. To test diverse aspects of code understanding, we introduce a set of diagnosting probing tasks. We show that pretrained models of code indeed contain information about code syntactic structure and correctness, the notions of identifiers, data flow and namespaces, and natural language naming. We also investigate how probing results are affected by using code-specific pretraining objectives, varying the model size, or finetuning.

연구 동기 및 목표

• 사전 훈련된 코드 모델이 다양한 코드 성질을 얼마나 이해하는지 평가하기 위한 진단 툴킷을 개발하는 것.
• 모델 아키텍처, 사전 훈련 목표, 피니튜닝이 코드 이해 능력에 미치는 영향을 평가하는 것.
• 모델 표현에 유지되는 코드 성질—구문적, 의미적, 구조적 성질—중 어떤 것이 있는지 특정하는 것.
• 작업에 맞는 요구사항을 바탕으로 실무자가 모델을 선택하거나 적응시키는 데 도움을 주는 것.

제안 방법

• 구문적 구조, 데이터 흐름, 네임스페이스, 이름 붙이기, 의미적 동치성, 가독성 등을 대상으로 하는 10개의 프로빙 작업 세트를 설계한다.
• 기본 모델을 피니튜닝하지 않고 계층별 은닉 표현에 선형 분류기 및 회귀기 사용.
• 토큰 수준 작업의 경우 서브토큰 임베딩을 사용해 AST 경로 유형 예측; 스니펫 수준 작업의 경우 AST 깊이 또는 의미적 유사도 예측.
• 강력한 베이스라인(예: 일정 예측 또는 선형 회귀)을 사용해 합성 또는 빌린 데이터로 프로빙을 훈련.
• 분류 작업의 경우 정확도, 회귀 작업의 경우 평균 절대 오차를 사용해 성능 평가.
• 모델 크기, 사전 훈련 목표(예: 마스킹 언어 모델링, 코드 전용 목표) 및 피니튜닝 효과를 고려해 모델 간 비교.

실험 결과

연구 질문

• RQ1 사전 훈련된 코드 모델이 AST 경로 및 깊이와 같은 구문적 구조를 얼마나 잘 인코딩하는가?
• RQ2 모델은 의미적으로 동치인 코드 스니펫을 구분할 수 있는가? 즉, 의미적 이해가 있는가?
• RQ3 코드 전용 사전 훈련 목표(예: CodeT5, GraphCodeBERT)는 모델이 특정 코드 성질을 포착하는 데 어떤 영향을 미치는가?
• RQ4 피니튜닝은 모델의 코드 구조 및 의미 표현을 악화시키는가, 아니면 향상시키는가?
• RQ5 모델 크기가 은닉 표현 내 코드 관련 정보 유지에 어떤 영향을 미치는가?

주요 결과

• 사전 훈련된 코드 모델은 높은 정확도로 프로빙 작업에서 AST 경로 유형과 깊이를 포함한 구문적 구조를 효과적으로 포착한다.
• 모델은 이름 붙이기 및 네임스페이스 관련 작업에서 뛰어난 성능을 보이며, 식별자 범위와 맥락에 대한 인식이 있음을 시사한다.
• 의미적 동치성 탐지 문제는 여전히 도전 과제이며, 모델의 성능이 낮게 유지되어 의미적 이해가 제한적임을 시사한다.
• 피니튜닝은 일반적으로 프로빙 작업 성능을 떨어뜨리며, 특히 분류 작업에서 구조적 지식 손실 가능성을 시사한다.
• 코드 전용 목표로 사전 훈련된 모델들(예: CodeT5, GraphCodeBERT)은 해당 목표와 관련된 작업에서 성능 향상을 보였다.
• 선형 프로빙 대신 3층의 MLP를 사용했을 때도 결과가 동일하게 유지되어 연구 결과의 탄탄함을 확인할 수 있었다.