[论文解读] Algorithmic Programming Language Identification

David Klein, Kyle I. Murray+1 more|arXiv (Cornell University)|Jun 21, 2011

Software Engineering Research参考文献 1被引用 10

一句话总结

本文提出了一种基于统计特征的监督机器学习方法，用于识别源代码中的编程语言，通过排除注释和字符串以提高准确性。该方法优于现有的工具（如SourceClassifier），在48%的测试用例中正确识别了编程语言，并在88%的用例中位列前五，显著优于贝叶斯基线方法。

ABSTRACT

Motivated by the amount of code that goes unidentified on the web, we introduce a practical method for algorithmically identifying the programming language of source code. Our work is based on supervised learning and intelligent statistical features. We also explored, but abandoned, a grammatical approach. In testing, our implementation greatly outperforms that of an existing tool that relies on a Bayesian classifier. Code is written in Python and available under an MIT license.

研究动机与目标

• 开发一种实用的、自动化的源代码编程语言识别方法，无需事先了解目标语言。
• 解决网络上广泛存在的代码未识别问题，例如在博客、论坛和文档中缺少语言标签的情况。
• 改进现有工具（如SourceClassifier）的性能，后者依赖于简单的贝叶斯分类器，容易受注释和字符串干扰。
• 通过准确识别代码片段的编程语言，提升代码可搜索性、语法高亮和自动化代码评分。
• 使用Python实现可扩展的、开源的解决方案，并采用MIT许可证，以确保可复现性并支持社区扩展。

提出的方法

• 系统使用来自GitHub的41,000个源代码文件的大型、精心筛选的训练数据集，通过文件扩展名过滤以减少噪声。
• 通过检测具有自然语言式词序列的行（即“words property”）来在训练和推理过程中排除注释和字符串。
• 采用启发式方法，利用硬编码数据库和相似性启发式算法识别字符串定界符和块注释标记符，适用于未知标记符。
• 从标记模式中提取统计特征，通过匹配的标记数量而非长度来评分，以确保不同语法间的公平性。
• 模型使用监督学习，基于特征相似性对编程语言进行排序，避免依赖语法解析。
• 探索了使用解析表达文法（PEGs）和OMeta的语法方法，但因语法组合困难和可扩展性问题而被放弃。

实验结果

研究问题

• RQ1 基于统计和特征的方法是否能在编程语言识别中超越贝叶斯分类器？
• RQ2 在多种编程语言中，排除注释和字符串在多大程度上能提升识别准确率？
• RQ3 是否可行构建一种无需依赖语法解析的可扩展、高准确率的编程语言识别系统？
• RQ4 该系统在真实世界代码片段上的性能与现有工具（如SourceClassifier）相比如何？
• RQ5 能否构建一个既准确又实用的系统，适用于大规模代码索引和语法高亮的部署？

主要发现

• 在25个测试文件中，系统正确识别了12个（48%），在22个文件中位列前五（88%）。
• 在直接对比中，SourceClassifier在同一测试集上的top-1准确率仅为12%，表明所提方法具有明显性能优势。
• 该模型成功处理了语法高度相似的语言对（如Scheme和Common Lisp），表明对语法重叠具有鲁棒性。
• 排除注释和字符串显著提升了特征质量，减少了自然语言内容带来的噪声。
• 尽管理论基础良好，但使用PEGs和OMeta的语法方法因语法组合和解析可靠性方面的挑战而被放弃。
• 该系统采用MIT许可证开源实现，支持研究社区的可复现性和未来扩展。