[论文解读] ChatGPT for Programming Numerical Methods

Ali Kashefi, Tapan Mukerji|arXiv (Cornell University)|Mar 21, 2023

Computational Physics and Python Applications被引用 8

一句话总结

本文评估 ChatGPT 在跨语言生成、调试、翻译、并行化以及评估数值方法实现方面的能力，涵盖从 Poisson 与扩散问题到 Euler 方程及 ML 启发方法的问题。分析自动化数值软件开发的成功、失败与实际局限性。

ABSTRACT

ChatGPT is a large language model recently released by the OpenAI company. In this technical report, we explore for the first time the capability of ChatGPT for programming numerical algorithms. Specifically, we examine the capability of GhatGPT for generating codes for numerical algorithms in different programming languages, for debugging and improving written codes by users, for completing missed parts of numerical codes, rewriting available codes in other programming languages, and for parallelizing serial codes. Additionally, we assess if ChatGPT can recognize if given codes are written by humans or machines. To reach this goal, we consider a variety of mathematical problems such as the Poisson equation, the diffusion equation, the incompressible Navier-Stokes equations, compressible inviscid flow, eigenvalue problems, solving linear systems of equations, storing sparse matrices, etc. Furthermore, we exemplify scientific machine learning such as physics-informed neural networks and convolutional neural networks with applications to computational physics. Through these examples, we investigate the successes, failures, and challenges of ChatGPT. Examples of failures are producing singular matrices, operations on arrays with incompatible sizes, programming interruption for relatively long codes, etc. Our outcomes suggest that ChatGPT can successfully program numerical algorithms in different programming languages, but certain limitations and challenges exist that require further improvement of this machine learning model.

研究动机与目标

• 评估 ChatGPT 在多种编程语言（Python、C、C++、MATLAB、Julia）下生成数值算法代码的能力。
• 评估 ChatGPT 诊断、补充、改写与并行化人工或机器撰写的数值代码的能力。
• 检验 ChatGPT 在一系列数值问题（Poisson、扩散、Navier–Stokes、Euler、特征值问题、稀疏存储）及 ML 应用（PINNs、CNNs）上的表现。
• 识别使用 ChatGPT 进行自动化数值编程的成功、失败与挑战，并提出改进方向。

提出的方法

• 在具体数值问题上测试 ChatGPT，例如二维 Poisson 方程、二维扩散以及一维可压缩 Euler 方程，使用多种语言（C、C++、Python、MATLAB、Julia）。
• 提供提示语并分析生成代码的质量，包括正确性、鲁棒性和边界情况处理（如奇异矩阵、维度不匹配）。
• 演示 ChatGPT 调试、改进、补全和改写代码的能力，以及在语言间翻译代码。
• 探索 ChatGPT 解决更大规模问题的能力（如特征值问题、稀疏存储，以及物理信息神经网络）。
• 评估模型在重新生成回答时的行为及对代码质量与一致性的影响。
• 讨论在长代码、库处理与版本差异方面观察到的局限、失败与挑战。

实验结果

研究问题

• RQ1 ChatGPT 是否能在多种编程语言中生成正确且高效的标准数值方法实现？
• RQ2 ChatGPT 在调试、补全、改写与并行化人类或机器撰写的数值代码方面的能力有多强？
• RQ3 在编写数值算法时，ChatGPT 的主要失败模式和局限性有哪些（如奇异矩阵、尺寸不匹配、未知库）？
• RQ4 ChatGPT 如何处理如 PINNs 与用于计算物理的 CNN 等高级主题，是否能产出可用实现？
• RQ5 ChatGPT 对区分人类与机器撰写代码的能力如何，其判断的可靠性如何？

主要发现

• ChatGPT 能用多种语言为泊松及扩散方程等问题生成可运行的数值算法。
• ChatGPT 能跨语言进行调试、补全缺失部分与改写代码，尽管重新生成的结果在不同 regenerations 之间可能有所差异。
• 常见失败包括奇异矩阵、数组大小不匹配、库使用不当以及较长代码被中断等。
• ChatGPT 能对串行代码进行并行化，并能够处理如 PINNs 与 CNN 等在计算物理中的 ML 启发方法。
• 重新生成回答可能导致代码结构显著不同，但在某些情况下并未带来明确的性能差异。
• 该工具展现了在自动化数值编程任务方面的潜力与局限性。