[论文解读] Enhancing Python Compiler Error Messages via Stack Overflow

Emillie Thiselton, Christoph Treude|arXiv (Cornell University)|Jun 27, 2019

Software Engineering Research参考文献 48被引用 8

一句话总结

本文提出 Pycee，一个开源的 Sublime Text 插件，通过自动检索并总结相关的 Stack Overflow 线程，增强 Python 编译器错误消息。通过 16 名程序员的思考 aloud 研究进行评估，Pycee 显著优于使用官方文档的基线方案，用户指出具体修复方法和代码示例是其主要优势，证实了外部社区知识可有效提升错误消息的可用性。

ABSTRACT

Background: Compilers tend to produce cryptic and uninformative error messages, leaving programmers confused and requiring them to spend precious time to resolve the underlying error. To find help, programmers often take to online question-and-answer forums such as Stack Overflow to start discussion threads about the errors they encountered. Aims: We conjecture that information from Stack Overflow threads which discuss compiler errors can be automatically collected and repackaged to provide programmers with enhanced compiler error messages, thus saving programmers' time and energy. Method: We present Pycee, a plugin integrated with the popular Sublime Text IDE to provide enhanced compiler error messages for the Python programming language. Pycee automatically queries Stack Overflow to provide customised and summarised information within the IDE. We evaluated two Pycee variants through a think-aloud user study during which 16 programmers completed Python programming tasks while using Pycee. Results: The majority of participants agreed that Pycee was helpful while completing the study tasks. When compared to a baseline relying on the official Python documentation to enhance compiler error messages, participants generally preferred Pycee in terms of helpfulness, citing concrete suggestions for fixes and example code as major benefits. Conclusions: Our results confirm that data from online sources such as Stack Overflow can be successfully used to automatically enhance compiler error messages. Our work opens up venues for future work to further enhance compiler error messages as well as to automatically reuse content from Stack Overflow for other aspects of programming.

研究动机与目标

• 为长期存在的、晦涩难懂且无帮助的编译器错误消息问题提供解决方案，此类问题会阻碍程序员的生产力。
• 探究是否可以自动收集并重新利用讨论编译器错误的 Stack Overflow 线程中的信息，以提升错误消息的清晰度。
• 设计并评估一种集成解决方案（Pycee），在 IDE 中直接提供总结性、可操作的错误反馈。
• 在实际编程任务中，比较基于社区的错误解释（通过 Stack Overflow）与官方文档在效果上的差异。
• 探索重用在线开发者问答内容以增强软件开发工具其他方面的潜力。

提出的方法

• Pycee 在 Sublime Text 中实时解析 Python 编译器错误消息，作为编码过程中的错误发生时。
• 它从错误消息构建语义查询，使用查询扩展技术，包含相关关键词、动词以及其它编程语言的语法。
• 该插件自动查询 Stack Overflow，并检索与错误相关的高分答案。
• 它应用自然语言摘要技术，从最高分答案中提取关键见解、修复建议和相关代码片段。
• 增强后的错误消息——包含简洁摘要和示例代码——随后直接在 IDE 中显示，取代或补充原始消息。
• 评估了两种变体：Pycee（使用 Stack Overflow）和 PyceeDoc（使用官方 Python 文档），在思考 aloud 用户研究中进行比较。

实验结果

研究问题

• RQ1 是否可以有效利用来自 Stack Overflow 的社区内容，在 IDE 中实时增强编译器错误消息？
• RQ2 与官方文档相比，Stack Overflow 提供的错误消息在感知帮助性方面如何？
• RQ3 增强错误消息中的哪些具体元素（例如：修复建议、代码示例）最有助于程序员理解并完成任务？
• RQ4 开发者在实际编程任务中如何与总结性、上下文感知的错误反馈互动并获益？
• RQ5 自动摘要问答内容在多大程度上能提升编译器错误消息的可用性？

主要发现

• 大多数参与者在思考 aloud 研究中认为 Pycee 有帮助，16 人中有 14 人表示它提升了其解决错误的能力。
• 参与者一致更偏好 Pycee 而非 PyceeDoc，指出具体修复建议和可运行的代码示例是其主要优势。
• Pycee 通过提供可操作的、上下文感知的信息，减少了理解与解决编译器错误所需的时间和认知负荷。
• 研究发现，将 Stack Overflow 答案总结为简洁、富含代码的消息，相比原始文档，显著提升了感知帮助性。
• 结果证实，外部的、社区生成的知识源可以被有效且自动地用于增强 IDE 中的编译器反馈。
• 研究还发现，即使非专家程序员也能从增强后的消息中受益，尤其是在编译器错误表述模糊或表达不清时。