[论文解读] How Generative AI models such as ChatGPT can be (Mis)Used in SPC Practice, Education, and Research? An Exploratory Study

Fadel M. Megahed, Ying‐Ju Chen+3 more|arXiv (Cornell University)|Feb 17, 2023

Business Process Modeling and Analysis被引用 32

一句话总结

该论文评估 ChatGPT 在 SPC 实践、学习与研究中的能力，强调提高效率的好处以及潜在的滥用风险，研究结果表明它在处理结构化任务方面表现良好，但在处理细微术语与 scratch coding 等方面存在困难，强调需要验证以及辅以其他方法。

ABSTRACT

Generative Artificial Intelligence (AI) models such as OpenAI's ChatGPT have the potential to revolutionize Statistical Process Control (SPC) practice, learning, and research. However, these tools are in the early stages of development and can be easily misused or misunderstood. In this paper, we give an overview of the development of Generative AI. Specifically, we explore ChatGPT's ability to provide code, explain basic concepts, and create knowledge related to SPC practice, learning, and research. By investigating responses to structured prompts, we highlight the benefits and limitations of the results. Our study indicates that the current version of ChatGPT performs well for structured tasks, such as translating code from one language to another and explaining well-known concepts but struggles with more nuanced tasks, such as explaining less widely known terms and creating code from scratch. We find that using new AI tools may help practitioners, educators, and researchers to be more efficient and productive. However, in their current stages of development, some results are misleading and wrong. Overall, the use of generative AI models in SPC must be properly validated and used in conjunction with other methods to ensure accurate results.

研究动机与目标

• 评估 ChatGPT 生成与 SPC 相关的实践任务代码的能力。
• 评估 ChatGPT 在学习情境中对 SPC 概念的解释的准确性。
• 调查 ChatGPT 在创建 SPC 知识资产方面的能力，如框架、课程大纲，以及研究问题的识别。

提出的方法

• 评估请求用于控制图的 R 代码以及语言之间任务翻译的提示。
• 将 ChatGPT 的输出与教科书和文献进行比较，以评估解释的准确性。
• 测试 ChatGPT 在创建 SPC 框架、课程大纲和识别开放研究问题方面的能力。
• 尝试在 R 和 Python 中运行并调试 ChatGPT 生成的代码并记录执行结果。
• 提供对 SPC 的实践、学习与研究中哪些有效、哪些失败的定性评估。

(a) A representative sample of LLM models released/published in the last three years.

实验结果

研究问题

• RQ1 ChatGPT 是否能够为 SPC 任务（如 X-bar 图）生成正确且可执行的代码（在 R 和 Python 中）？
• RQ2 ChatGPT 对 SPC 概念（如 Phase 1 与 Phase 2、零状态 ARL，以及单变量/多变量/轮廓监控）的解释有多准确？
• RQ3 ChatGPT 在创建可用的 SPC 知识资产方面的能力有多大，例如框架、DMAIC 模板以及开放研究问题？
• RQ4 ChatGPT 在 SPC 实践、学习和研究中的局限性与潜在滥用有哪些？

主要发现

• ChatGPT 能为结构化的 SPC 任务提供代码和解释，但经常对代码块标注错误、存在参数和函数参数错误，且在未调试的情况下可能生成错误的图表。
• ChatGPT 对 Phase 1 与 Phase 2、零状态 ARL 与监控方法的解释包含不准确或不完整的细节，需要专家验证。
• ChatGPT 能生成诸如七步 MSP 框架和 DMAIC 模板等知识资产，但这些输出可能缺乏足够的统计细节，需要由从业者进行定制。
• 备选的代码方法（tidyverse 与 base R）以及跨语言翻译到 Python 呈现出混合成果，某些输出需要大量修正才能正确。
• 该研究表明 AI 工具可以提高效率，但也增加产生误导或错误结果的风险，强调需要验证并以传统方法进行补充。

(b) The unprecedented adoption of ChatGPT compared to popular technology platforms.