[论文解读] Better Code, Better Sharing:On the Need of Analyzing Jupyter Notebooks

Jiawei Wang, Li Li+1 more|arXiv (Cornell University)|Jun 12, 2019

Digital Humanities and Scholarship参考文献 8被引用 8

一句话总结

本文主张对 Jupyter 笔记本进行系统性的程序化分析，以提升代码质量和可复现性，通过初步研究证明，笔记本中常存在诸如未使用变量和已弃用函数等不良编程实践。作者呼吁整个社区关注笔记本中的质量控制，以防止在科研和教育环境中传播有缺陷的代码。

ABSTRACT

By bringing together code, text, and examples, Jupyter notebooks have become one of the most popular means to produce scientific results in a productive and reproducible way. As many of the notebook authors are experts in their scientific fields, but laymen with respect to software engineering, one may ask questions on the quality of notebooks and their code. In a preliminary study, we experimentally demonstrate that Jupyter notebooks are inundated with poor quality code, e.g., not respecting recommended coding practices, or containing unused variables and deprecated functions. Considering the education nature of Jupyter notebooks, these poor coding practices as well as the lacks of quality control might be propagated into the next generation of developers. Hence, we argue that there is a strong need to programmatically analyze Jupyter notebooks, calling on our community to pay more attention to the reliability of Jupyter notebooks.

研究动机与目标

• 调查领域专家（软件工程经验有限）编写的 Jupyter 笔记本中不良编程实践的普遍性。
• 突出由于笔记本的广泛使用，低质量代码在科研和教育环境中传播所带来的风险。
• 倡导开发针对 Jupyter 笔记本的自动化分析工具，以实施更佳的编程标准。
• 在科研和软件工程社区中提高对笔记本工作流中质量控制必要性的认识。
• 为未来关于 Jupyter 笔记本静态和动态分析的研究奠定基础。

提出的方法

• 对 GitHub 上公开的 Jupyter 笔记本样本开展初步的实证研究。
• 应用静态代码分析技术，检测常见的代码质量问题，如未使用变量、未定义变量和已弃用函数。
• 使用自然语言处理和 AST（抽象语法树）解析技术，分析笔记本单元格内的代码结构和语义。
• 基于既定的软件工程最佳实践和社区标准评估代码质量。
• 设计一个模块化、可扩展的笔记本内容分析框架，将代码、文本和输出组件分离。
• 提出一个将质量检查集成到笔记本编写和共享工作流中的处理管道。

实验结果

研究问题

• RQ1 Jupyter 笔记本在多大程度上包含低质量代码，如未使用变量和已弃用函数？
• RQ2 笔记本中的编程实践与既定的软件工程标准相比如何？
• RQ3 笔记本中低质量代码对可复现性和教育的影响是什么？
• RQ4 哪些自动化分析技术能有效检测笔记本环境中的代码质量问题？
• RQ5 软件工程社区如何将质量控制整合到基于笔记本的科研工作流中？

主要发现

• 大量 Jupyter 笔记本包含未使用变量，这表明编程卫生状况差，降低了可维护性。
• 许多笔记本使用了已弃用的函数，增加了运行时错误的风险，并降低了长期可维护性。
• 研究发现，尽管作者具有科研和教育意图，笔记本中的编程实践常常违反既定的软件工程最佳实践。
• 低质量代码的普遍性表明笔记本编写中存在系统性问题，可能对可复现性和学习成果产生负面影响。
• 结果强调了迫切需要开发自动化分析工具，以检测并指导改进笔记本代码质量。
• 作者得出结论：在笔记本中主动进行代码分析对于确保科学计算中的可靠性与教育完整性至关重要。