[논문 리뷰] Algorithmic Programming Language Identification

David Klein, Kyle I. Murray외 1명|arXiv (Cornell University)|2011. 06. 21.

Software Engineering Research참고 문헌 1인용 수 10

한 줄 요약

이 논문은 주어진 소스 코드에서 프로그래밍 언어를 식별하기 위해 통계적 특징을 사용하는 지도 학습 접근법을 제시한다. 주로 주석과 문자열을 제외함으로써 정확도를 향상시킨다. 이는 기존 도구인 SourceClassifier보다 뛰어나며, 테스트 케이스의 48%에서 언어를 정확히 식별했고, 88%에서는 상위 다섯 개 이내로 순위를 매겼다. 이는 베이지안 기반 기준에 비해 상당한 향상이다.

ABSTRACT

Motivated by the amount of code that goes unidentified on the web, we introduce a practical method for algorithmically identifying the programming language of source code. Our work is based on supervised learning and intelligent statistical features. We also explored, but abandoned, a grammatical approach. In testing, our implementation greatly outperforms that of an existing tool that relies on a Bayesian classifier. Code is written in Python and available under an MIT license.

연구 동기 및 목표

• 사전에 언어에 대한 지식 없이도 소스 코드에서 프로그래밍 언어를 자동으로 식별할 수 있는 실용적인 방법을 개발하는 것.
• 블로그, 포럼, 문서 등에서 언어 태그가 누락된 채로 존재하는 널리 퍼진 미식별 코드 문제를 해결하는 것.
• 간단한 베이지안 분류기 의존으로 쉽게 주석과 문자열에 혼동당하는 기존 도구인 SourceClassifier와 같은 도구를 향상시키는 것.
• 정확한 언어 식별을 통해 코드 검색 가능성 향상, 문법 강조, 자동 코드 채점 향상 등을 가능하게 하는 것.
• 재현 가능성과 커뮤니티 확장 가능성을 위해 파이썬을 사용하고 MIT 라이선스를 적용한 확장 가능한 오픈소스 솔루션을 구축하는 것.

제안 방법

• 소스 코드 파일 41,000개로 구성된 대규모 정제된 훈련 데이터셋을 사용하며, 파일 확장자 기반으로 노이즈를 줄인다.
• 훈련 및 추론 과정에서 주석과 문자열을 제외하기 위해 자연어 유사 단어 조합을 감지함으로써 '단어 속성'을 활용한다.
• 하드코딩된 데이터베이스와 알려지지 않은 토큰에 대한 유사도 히ュ리스틱을 사용해 문자열 구분자와 블록 주석 마커를 식별하는 히ュ리스틱 기반 접근법을 사용한다.
• 토큰 패턴에서 통계적 특징을 추출하며, 길이가 아닌 일치하는 토큰 수를 기준으로 점수를 매겨 다양한 문법 간의 공정성을 확보한다.
• 구문 분석에 의존하지 않고, 기존 훈련 예제와의 특징 유사도를 기반으로 언어를 순위 매기는 지도 학습 모델을 사용한다.
• 구문 기반 접근법으로는 파싱 표현 문법(Parsing Expression Grammars, PEGs)과 OMeta를 탐색했지만, 문법 조합의 어려움과 확장성 문제로 기각했다.

실험 결과

연구 질문

• RQ1 통계적 특징 기반 접근법이 프로그래밍 언어 식별에서 베이지안 분류기보다 뛰어나게 성능을 낼 수 있는가?
• RQ2 다양한 프로그래밍 언어에서 주석과 문자열을 제외함으로써 식별 정확도가 얼마나 향상될 수 있는가?
• RQ3 구문 기반 분석에 의존하지 않고도 확장 가능하고 높은 정확도를 갖는 언어 식별기 구축이 가능한가?
• RQ4 실제 웹 기반 코드 조각에서 이 시스템의 성능이 SourceClassifier와 같은 기존 도구와 비교해 어떻게 되는가?
• RQ5 웹 규모의 코드 색인화 및 문법 강조에 적용 가능한 정확하고 실용적인 시스템을 구축할 수 있는가?

주요 결과

• 시스템은 25개 테스트 파일 중 12개(48%)에서 프로그래밍 언어를 정확히 식별했으며, 22개(88%)에서는 상위 다섯 개 이내로 순위를 매겼다.
• 직접 비교한 결과, SourceClassifier는 동일한 테스트 세트에서 상위 1위 정확도가 12%에 그쳐, 제안된 방법의 명확한 성능 우월성을 입증했다.
• 스키마와 커몬 리스프처럼 유사성이 높은 언어 쌍을 성공적으로 처리해, 문법적 중복에 대한 강건성을 보였다.
• 주석과 문자열의 제거로 인해 자연어 콘텐츠에서 오는 노이즈가 감소해 특징 품질이 크게 향상되었다.
• PEGs와 OMeta를 사용한 구문 기반 접근법은 이론적으로는 유망했지만, 문법 조합 및 구문 분석 신뢰성 문제로 기각되었다.
• MIT 라이선스 하에 오픈소스로 구현된 시스템은 연구 커뮤니티의 재현 가능성과 향후 확장 가능성을 보장한다.