[论文解读] DLTPy: Deep Learning Type Inference of Python Function Signatures using Natural Language Context

Casper Boone, Niels de Bruin+2 more|arXiv (Cornell University)|Dec 2, 2019

Software Engineering Research参考文献 18被引用 9

一句话总结

DLTPy 是一种深度学习模型，通过函数名称、注释、参数名称和返回表达式中的自然语言上下文来推断 Python 函数的类型签名。其 top-3 F1 得分为 91.6%，表明代码元素中的自然语言显著提升了类型预测的准确性，其中返回表达式和注释对性能有重要贡献。

ABSTRACT

Due to the rise of machine learning, Python is an increasingly popular programming language. Python, however, is dynamically typed. Dynamic typing has shown to have drawbacks when a project grows, while at the same time it improves developer productivity. To have the benefits of static typing, combined with high developer productivity, types need to be inferred. In this paper, we present DLTPy: a deep learning type inference solution for the prediction of types in function signatures based on the natural language context (identifier names, comments and return expressions) of a function. We found that DLTPy is effective and has a top-3 F1-score of 91.6%. This means that in most of the cases the correct type is within the top-3 predictions. We conclude that natural language contained in comments and return expressions are beneficial to predicting types more accurately. DLTPy does not significantly outperform or underperform the previous work NL2Type for Javascript, but does show that similar prediction is possible for Python.

研究动机与目标

• 开发一种基于深度学习的 Python 类型推断系统，以减轻手动类型注解的负担。
• 探究函数注释、标识符和返回表达式中的自然语言是否能提升类型预测的准确性。
• 评估不同深度学习架构和输入特征组合在 Python 类型推断中的有效性。
• 确定 JavaScript 的 NL2Type 方法是否能有效泛化到 Python。

提出的方法

• DLTPy 使用双向长短期记忆（LSTM）网络处理函数签名、注释和返回表达式中的自然语言特征。
• 输入特征包括分词后的标识符（函数名、参数名）、注释和返回表达式标记，每类均嵌入为稠密向量表示。
• 模型在来自 GitHub 和 Libraries.io 的 5,996 个开源 Python 项目上进行训练，重点关注具有 mypy 类型注解的函数。
• 通过不同输入组合（如包含/不包含注释或返回表达式）评估多个模型变体，以评估特征的有效性。
• 词嵌入在 14 维向量空间中从训练数据中学习，不同于 NL2Type 的 100 维嵌入。
• 使用保留的测试集评估模型性能，指标包括 top-1 和 top-3 的精确率、召回率与 F1 得分。

实验结果

研究问题

• RQ1 来自注释和返回表达式的自然语言上下文能否提升基于深度学习的 Python 类型推断？
• RQ2 函数名、参数名、注释和返回表达式等不同输入组件如何影响类型预测性能？
• RQ3 JavaScript 的 NL2Type 方法是否能有效泛化到 Python 并取得类似性能？
• RQ4 与仅依赖名称和注释相比，返回表达式对类型预测准确率有何影响？
• RQ5 不同深度学习架构和嵌入维度如何影响模型推断类型的能力？

主要发现

• DLTPy 达到 91.6% 的 top-3 F1 得分，表明在 91.6% 的情况下，正确类型位于预测的前三个候选中。
• 在输入中包含注释可提升类型预测性能，其中数据集 2（含注释）优于数据集 3（无注释）。
• 返回表达式显著提升模型准确率；未使用返回表达式输入的模型（如数据集 4）表现明显低于使用该特征的模型。
• 尽管使用了更小的 14 维词嵌入，模型性能与 NL2Type 相当，表明嵌入维度的重要性低于特征表示质量。
• 使用双向 LSTM 的模型 C 在所有变体中表现最佳，证实其在该分类任务中的有效性。
• 与 NL2Type 相比，模型性能无显著差异，表明当引入返回表达式上下文后，NL2Type 方法可有效泛化到 Python。