[论文解读] HiTyper: A Hybrid Static Type Inference Framework with Neural Prediction.

Yün Peng, Zongjie Li+4 more|arXiv (Cornell University)|May 8, 2021

Software Engineering Research参考文献 30被引用 4

一句话总结

HiTyper 是一种结合静态分析与深度学习的混合类型推断框架，通过整合静态类型推断与神经网络模型，提升了动态语言中的类型预测准确率。它构建类型图以进行类型流分析，利用静态约束推断类型，并应用类型校正算法，对当前最先进（SOTA）深度学习模型的预测结果进行优化，使 top-1 F1 分数提升 12.7%，并过滤掉 50.6% 的错误候选类型。

ABSTRACT

Type inference for dynamic programming languages is an important yet challenging task. By leveraging the natural language information of existing human annotations, deep neural networks outperform other traditional techniques and become the state-of-the-art (SOTA) in this task. However, they are facing some new challenges, such as fixed type set, type drift, type correctness, and composite type prediction. To mitigate the challenges, in this paper, we propose a hybrid type inference framework named HiTyper, which integrates static inference into deep learning (DL) models for more accurate type prediction. Specifically, HiTyper creates a new syntax graph for each program, called type graph, illustrating the type flow among all variables in the program. Based on the type graph, HiTyper statically infers the types of the variables with appropriate static constraints. HiTyper then adopts a SOTA DL model to predict the types of other variables that cannot be inferred statically, during which process a type correction algorithm is employed to validate and correct the types recommended by the DL model. Extensive experiments show that HiTyper outperforms the SOTA DL approach by 12.7% in terms of top-1 F1-score. Moreover, HiTyper filters out 50.6% of incorrect candidate types recommended by the SOTA DL model, indicating that HiTyper could improve the correctness of predicted types. Case studies also demonstrate the capability of HiTyper in alleviating the fixed type set issue, and in handling type drift and complicated types such as composite data types.

研究动机与目标

• 解决当前最先进深度学习模型在类型推断中的局限性，包括固定类型集合、类型漂移以及复合类型预测问题。
• 通过整合静态类型推断与神经网络模型，提升类型预测的准确率与鲁棒性。
• 缓解动态语言类型推断中常见的类型漂移与错误候选类型问题。
• 实现对复杂复合类型（复合类型）的准确预测，这些类型对纯神经网络模型而言具有挑战性。

提出的方法

• 为每个程序构建类型图，以建模变量之间的类型流，捕捉依赖关系与数据流。
• 应用适当的静态约束进行类型推断，确定可通过静态分析推导出的变量类型。
• 采用当前最先进（SOTA）的深度学习模型，对无法通过静态分析推断的变量进行类型预测。
• 引入一种类型校正算法，利用静态约束与类型一致性检查，验证并优化神经网络模型的预测结果。
• 在混合框架中结合静态推断与学习得到的预测结果，以提升整体准确率与正确性。
• 以类型图为结构骨干，指导静态推断与神经预测过程，确保结果的一致性。

实验结果

研究问题

• RQ1 将静态类型推断与深度学习相结合，能否提升动态语言中类型预测的准确率？
• RQ2 该混合方法在多大程度上可减少深度学习模型推荐的错误候选类型？
• RQ3 该框架在处理复合数据类型与复杂类型结构方面是否具有高效性？
• RQ4 该框架是否能缓解神经类型推断模型中常见的固定类型集合问题？
• RQ5 与纯深度学习方法相比，该类型校正算法是否能显著提升预测类型的正确性？

主要发现

• 与当前最先进（SOTA）的深度学习模型相比，HiTyper 将 top-1 F1 分数提升了 12.7%。
• 该框架过滤掉了 SOTA 深度学习模型推荐的 50.6% 的错误候选类型，显著提升了预测正确率。
• HiTyper 通过静态约束实现有效扩展有效类型集合，成功缓解了固定类型集合问题。
• 系统通过将预测结果与静态一致性规则进行验证，有效缓解了类型漂移问题。
• 案例研究证实，HiTyper 具备准确预测复杂复合类型的能力，而这些类型对纯神经网络模型而言极具挑战。
• 将静态推断与深度学习相结合，可显著提升在多样化程序结构中的类型预测可靠性与一致性。