[논문 리뷰] SCC: Automatic Classification of Code Snippets

Kamel Alreshedy, Dhanush Dharmaretnam외 3명|arXiv (Cornell University)|2018. 09. 21.

Software Engineering Research참고 문헌 5인용 수 6

한 줄 요약

이 논문은 스택 오버플로우 코드 스니펫에서 훈련된 다항 베이지안 분류기인 SCC를 소개한다. SCC는 작은 코드 블록에서 프로그래밍 언어를 자동으로 분류하며, 75%의 정확도를 기록하고, 동일한 작업에서 55.5%의 정확도를 기록한 비공개 도구인 PLI를 능가한다. 또한 C, C++, C#과 같은 유사 언어를 구분하고, C# 버전을 높은 정밀도로 식별한다.

ABSTRACT

Determining the programming language of a source code file has been considered in the research community; it has been shown that Machine Learning (ML) and Natural Language Processing (NLP) algorithms can be effective in identifying the programming language of source code files. However, determining the programming language of a code snippet or a few lines of source code is still a challenging task. Online forums such as Stack Overflow and code repositories such as GitHub contain a large number of code snippets. In this paper, we describe Source Code Classification (SCC), a classifier that can identify the programming language of code snippets written in 21 different programming languages. A Multinomial Naive Bayes (MNB) classifier is employed which is trained using Stack Overflow posts. It is shown to achieve an accuracy of 75% which is higher than that with Programming Languages Identification (PLI a proprietary online classifier of snippets) whose accuracy is only 55.5%. The average score for precision, recall and the F1 score with the proposed tool are 0.76, 0.75 and 0.75, respectively. In addition, it can distinguish between code snippets from a family of programming languages such as C, C++ and C#, and can also identify the programming language version such as C# 3.0, C# 4.0 and C# 5.0.

연구 동기 및 목표

• 짧은 코드 스니펫에서 프로그래밍 언어를 정확하게 식별하는 데 도전하는 것. 이는 전체 소스 파일을 분류하는 것보다 더 어렵다.
• 언어 태그가 자주 누락되는 온라인 포럼 및 코드 공유 플랫폼에서 코드 스니펫을 분류할 수 있는 개방형 접근 가능한 도구를 개발하는 것.
• 기존의 비공개 솔루션인 PLI와 비교해, 소스 파일 전체에선 높은 정확도를 보이지만, 짧은 스니펫에선 성능이 떨어지는 문제를 해결하는 것.
• C, C#, C++와 같은 유사 언어를 식별하거나 C# 버전(3.0, 4.0, 5.0)을 식별하는 등 세분화된 분류를 가능하게 하는 것.
• 폐쇄 소스 도구에 대한 재현 가능하고 투명한 대안을 제공하는 것.

제안 방법

• 스택 오버플로우 게시물에서 추출한 코드 스니펫 데이터셋을 기반으로 다항 베이지안 분류기(MNB)를 훈련한다.
• 특징은 토큰화된 코드 스니펫에서 유도되며, 각 언어 고유의 关건어 및 구문 패턴에 중점을 둔다.
• 21개의 프로그래밍 언어(가족 언어인 C, C++, C# 및 버전인 C# 3.0, 4.0, 5.0 포함)에서 평가한다.
• 정밀도, 재현율, F1 점수, 정확도 등 다양한 언어 카테고리에서 성능을 측정한다.
• 동일한 150개의 스택 오버플로우 스니펫 테스트 세트를 사용해 비공개 도구인 PLI와 비교한다.
• 각 언어별 상위 10개 특징(예: C#에선 'class', 'console')을 추출해 모델의 결정 과정을 분석한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델이 전체 소스 파일과는 달리 짧은 코드 스니펫에서 프로그래밍 언어를 높은 정확도로 분류할 수 있는가?
• RQ2 공개 소스 기반의 MNB 기반 분류기(SCC)는 비공개 도구(PLI)와 비교해 코드 스니펫 분류에서 어떤 성능을 보이는가?
• RQ3 SCC는 C, C#, C++와 같이 유사한 언어를 구분할 수 있는가?
• RQ4 SCC는 C# 3.0, 4.0, 5.0와 같이 특정 언어 버전을 식별할 수 있는가?
• RQ5 짧은 코드 스니펫에서 프로그래밍 언어를 구분하는 데 가장 유의미한 특징는 무엇인가?

주요 결과

• SCC는 코드 스니펫에서 21개의 프로그래밍 언어를 분류할 때 총 75%의 정확도를 기록한다.
• 모든 언어에서 평균 F1 점수는 0.75이며, 정밀도는 0.76, 재현율은 0.75로 나타난다.
• SCC는 동일한 테스트 세트에서 55.5%의 정확도를 기록한 PLI를 뚜렷이 앞서며, 성능 면에서 열등하지 않다.
• C, C#, C++와 같은 언어 가족 분류에서는 80%의 정확도를 기록해 강력한 성능을 보인다.
• C# 버전(3.0, 4.0, 5.0) 식별에 대해 61%의 정확도를 기록해, 버전 수준의 분류가 가능하다는 것을 입증한다.
• 모델은 C#에선 'console', C++에선 'cout', C에선 'class'와 같은 언어 고유의 关건어를 상위 분류 특징으로 식별한다.