[논문 리뷰] How Generative AI models such as ChatGPT can be (Mis)Used in SPC Practice, Education, and Research? An Exploratory Study

Fadel M. Megahed, Ying‐Ju Chen외 3명|arXiv (Cornell University)|2023. 02. 17.

Business Process Modeling and Analysis인용 수 32

한 줄 요약

이 논문은 SPC 실무, 학습, 연구에서 ChatGPT의 능력을 평가하며 효율성에 대한 이점과 잠재적 남용 가능성을 강조하고, 구조화된 작업은 잘 처리하지만 뉘앙스 용어 및 스크래치 코딩에는 어려움을 보여 검증 및 보조 방법의 필요성을 강조한다.

ABSTRACT

Generative Artificial Intelligence (AI) models such as OpenAI's ChatGPT have the potential to revolutionize Statistical Process Control (SPC) practice, learning, and research. However, these tools are in the early stages of development and can be easily misused or misunderstood. In this paper, we give an overview of the development of Generative AI. Specifically, we explore ChatGPT's ability to provide code, explain basic concepts, and create knowledge related to SPC practice, learning, and research. By investigating responses to structured prompts, we highlight the benefits and limitations of the results. Our study indicates that the current version of ChatGPT performs well for structured tasks, such as translating code from one language to another and explaining well-known concepts but struggles with more nuanced tasks, such as explaining less widely known terms and creating code from scratch. We find that using new AI tools may help practitioners, educators, and researchers to be more efficient and productive. However, in their current stages of development, some results are misleading and wrong. Overall, the use of generative AI models in SPC must be properly validated and used in conjunction with other methods to ensure accurate results.

연구 동기 및 목표

• ChatGPT가 실무 작업을 위한 SPC 관련 코드 생성 능력을 평가한다.
• 학습 맥락에서 SPC 개념에 대한 ChatGPT의 설명의 정확성을 평가한다.
• 프레임워크, 강의계획서, 연구 문제 식별과 같은 SPC 지식 자산을 ChatGPT가 생성할 수 있는지 조사한다.

제안 방법

• 제어도 차트용 R 코드 요청 및 언어 간 번역 작업 프롬프트를 평가한다.
• 설명 정확성을 평가하기 위해 ChatGPT의 출력을 교과서 및 문헌과 비교한다.
• ChatGPT가 SPC 프레임워크, 과정 강의계획서 및 개방형 연구 문제를 생성하는 능력을 테스트한다.
• R 및 Python으로 ChatGPT가 생성한 코드를 실행하고 디버깅을 시도하며 실행 결과를 문서화한다.
• 실습, 학습 및 연구 전반에 걸쳐 작동한 것과 실패한 것에 대한 질적 평가를 제공한다.

(a) A representative sample of LLM models released/published in the last three years.

실험 결과

연구 질문

• RQ1 ChatGPT가 R과 Python에서 SPC task(예: X-bar 차트)에 대해 올바르고 실행 가능한 코드를 생성할 수 있는가?
• RQ2 Phase 1 대 Phase 2, 제로 상태 ARL, 단변량/다변량/프로파일 모니터링 등 SPC 개념에 대한 ChatGPT의 설명은 얼마나 정확한가?
• RQ3 ChatGPT가 프레임워크, DMAIC 템플릿, 개방형 연구 문제와 같은 사용 가능한 SPC 지식 자산을 얼마나 생성할 수 있는가?
• RQ4 SPC 실무, 학습 및 연구에서 ChatGPT의 한계와 잠재적 오용은 무엇인가?

주요 결과

• ChatGPT는 구조화된 SPC 작업에 대한 코드와 설명을 제공할 수 있지만 종종 코드 블록의 라벨이 잘못되거나 매개변수 및 함수 인자 오류가 있으며 디버깅 없이 차트를 잘못 생성할 수 있다.
• Phase 1 대 Phase 2, 제로 상태 ARL, 모니터링 접근 방식에 대한 ChatGPT의 설명은 부정확하거나 완전하지 않은 세부 정보를 포함하며 전문가 검증이 필요하다.
• ChatGPT는 일곱 단계 MSP 프레임워크와 DMAIC 템플릿과 같은 지식 자산을 생성할 수 있지만 이러한 출력은 충분한 통계적 세부 정보가 부족하고 실무자의 조정이 필요할 수 있다.
• 정리된 코드 접근 방식(tidyverse 대 base R) 및 Python으로의 교차 언어 번역은 섞인 성공을 보이며, 일부 출력은 올바르려면 상당한 수정이 필요하다.
• 이 연구는 AI 도구가 효율성을 높일 수 있지만 오도하거나 잘못된 결과를 낳을 위험도 있음—검증 및 전통적 방법으로의 보강 필요성을 강조한다.

(b) The unprecedented adoption of ChatGPT compared to popular technology platforms.