[论文解读] Dynamic Witnesses for Static Type Errors.

Eric L. Seidel, Ranjit Jhala+1 more|arXiv (Cornell University)|Jun 24, 2016

Software Engineering Research被引用 4

一句话总结

本文提出一种动态方法，通过自动生成示范输入来解释函数式程序中的静态类型错误，从而说明程序为何类型不成立。利用符号执行，该方法合成具有普遍性的反例及归约图，以可视化类型错误，其在学生程序上的覆盖率达88%，相比传统错误信息显著提升了学生对类型不匹配的理解。

ABSTRACT

Static type errors are a common stumbling block for newcomers to typed functional languages. We present a dynamic approach to explaining type errors by generating counterexample witness inputs that illustrate how an ill-typed program goes wrong. First, given an ill-typed function, we symbolically execute the body to dynamically synthesize witness values that can make the program go wrong. We prove that our procedure synthesizes general witnesses in that if a witness is found, then for all inhabited input types, there exist values that can make the function go wrong. Second, we show how to extend the above procedure to produce a reduction graph that can be used to interactively visualize and debug witness executions. Third, we evaluate the coverage of our approach on two data sets comprising over 4,500 ill-typed student programs. Our technique is able to generate witnesses for 88% of the programs, and our reduction graph yields small counterexamples for 81% of the witnesses. Finally, we evaluate the utility of our witnesses in helping students understand and fix type errors, and find that students presented with our witnesses consistently show a greater understanding of type errors than those presented with a standard error message.

研究动机与目标

• 为帮助初学者理解函数式编程语言中的静态类型错误提供支持。
• 开发一种动态、交互式的解释方法，说明为何类型错误的程序会失败，超越传统错误信息。
• 生成可推广的见证输入，以实际演示类型错误的表现形式。
• 评估这些见证在提升学生对类型系统理解方面的有效性。

提出的方法

• 使用符号执行动态合成能暴露类型错误的见证值，用于说明类型错误的函数。
• 该方法确保若生成了见证，则其对所有非空输入类型均有效，从而保证可推广性。
• 构建归约图以逐步可视化见证程序的执行过程，支持交互式调试。
• 通过在符号执行过程中分析类型错误表达式的结构，将该方法扩展至处理复杂类型错误。
• 在四千五百多个学生程序上评估系统，以衡量见证的覆盖范围及反例的质量。

实验结果

研究问题

• RQ1 与标准编译器错误信息相比，动态见证生成是否能提升学生对静态类型错误的理解？
• RQ2 可自动生成的见证能诊断出多少比例的类型错误学生程序？
• RQ3 生成的见证在产生小而易懂的反例方面有多有效？
• RQ4 归约图是否有助于用户追踪并调试类型错误的根本原因？

主要发现

• 该方法在评估数据集中四千五百多个类型错误的学生程序中，成功为88%的程序生成了见证。
• 在81%的生成见证中，归约图产生了小而易懂的反例，有效说明了错误。
• 与仅接收标准错误信息的学生相比，接收动态见证的学生在理解类型错误方面表现出显著更高的水平。
• 见证生成过程具有普遍性，且保证任何生成的见证都能暴露所有非空输入类型的类型错误。