[논문 리뷰] ChatGPT for Programming Numerical Methods

Ali Kashefi, Tapan Mukerji|arXiv (Cornell University)|2023. 03. 21.

Computational Physics and Python Applications인용 수 8

한 줄 요약

이 논문은 Poisson 및 확산에서 Euler 방정식 및 ML 영감을 받은 접근법에 이르기까지 다양한 문제를 다루며, 언어 간 수치 방법 구현의 생성, 디버그, 번역, 병렬화 및 평가 능력을 ChatGPT가 어떻게 수행하는지 평가한다. 자동화된 수치 소프트웨어 개발의 성공/실패 및 실용적 한계를 분석한다.

ABSTRACT

ChatGPT is a large language model recently released by the OpenAI company. In this technical report, we explore for the first time the capability of ChatGPT for programming numerical algorithms. Specifically, we examine the capability of GhatGPT for generating codes for numerical algorithms in different programming languages, for debugging and improving written codes by users, for completing missed parts of numerical codes, rewriting available codes in other programming languages, and for parallelizing serial codes. Additionally, we assess if ChatGPT can recognize if given codes are written by humans or machines. To reach this goal, we consider a variety of mathematical problems such as the Poisson equation, the diffusion equation, the incompressible Navier-Stokes equations, compressible inviscid flow, eigenvalue problems, solving linear systems of equations, storing sparse matrices, etc. Furthermore, we exemplify scientific machine learning such as physics-informed neural networks and convolutional neural networks with applications to computational physics. Through these examples, we investigate the successes, failures, and challenges of ChatGPT. Examples of failures are producing singular matrices, operations on arrays with incompatible sizes, programming interruption for relatively long codes, etc. Our outcomes suggest that ChatGPT can successfully program numerical algorithms in different programming languages, but certain limitations and challenges exist that require further improvement of this machine learning model.

연구 동기 및 목표

• Python, C, C++, MATLAB, Julia 등 여러 프로그래밍 언어에서 수치 알고리즘의 코드를 생성하는 ChatGPT의 능력을 평가한다.
• 사람이나 기계가 작성한 수치 코드를 디버깅, 보완, 재작성 및 병렬화하는 ChatGPT의 능력을 평가한다.
• Poisson, 확산, 나비에–스톡스, 오일러, 고유값 문제, 희소 저장 등 다양한 수치 문제와 PINNs, CNN과 같은 ML 응용에서의 ChatGPT의 성능을 평가한다.
• 자동 수치 프로그래밍에 ChatGPT를 사용하는 과정에서의 성공, 실패 및 도전을 식별하고 개선 방안을 제시한다.]
• method: [

제안 방법

• 다양한 언어(C, C++, Python, MATLAB, Julia)를 사용하여 2D Poisson 방정식, 2D 확산, 1D 압축성 오일러 방정식과 같은 구체적 수치 문제에 대해 ChatGPT를 테스트한다.
• 프롬프트를 제시하고 생성된 코드의 품질(정확성, 강건성, 경계 사례 처리 예: 특이 행렬, 차원 불일치)을 분석한다.
• 코드를 디버그하고 개선하며 보완·재작성하고 언어 간 번역하는 ChatGPT의 능력을 시연한다.
• 고유값 문제, 희소 저장, 물리정보 기반 신경망(PINNs) 등 더 큰 문제를 해결하는 ChatGPT의 능력을 탐구한다.
• 응답 재생성 시 모델의 동작과 코드 품질 및 일관성에 미치는 영향을 평가한다.
• 긴 코드, 라이브러리 처리 및 버전 차이에서 관찰된 한계, 실패 및 도전에 대해 논의한다.

실험 결과

연구 질문

• RQ1 ChatGPT가 다중 프로그래밍 언어로 표준 수치 방법의 정확하고 효율적인 구현을 생성할 수 있는가?
• RQ2 사람이나 다른 기계가 작성한 수치 코드를 얼마나 잘 디버그, 보완, 재작성 및 병렬화할 수 있는가?
• RQ3 수치 알고리즘 코딩 시 ChatGPT의 주요 실패 모드와 한계는 무엇인가(예: 특이 행렬, 크기 불일치, 알 수 없는 라이브러리)?
• RQ4 계산물리에서 PINNs 및 CNN과 같은 고급 주제를 다루는 ChatGPT의 방식은 무엇이며 사용 가능한 구현을 생성할 수 있는가?
• RQ5 인간 작성 코드와 기계 작성 코드를 구별하는 ChatGPT의 능력은 무엇이며 그 판단의 신뢰성은 어느 정도인가?

주요 결과

• ChatGPT는 Poisson 및 확산 방정식과 같은 문제에 대해 여러 언어로 실행 가능한 수치 알고리즘을 생성할 수 있다.
• ChatGPT는 언어 간에 디버그하고 누락된 부분을 보완하며 코드를 재작성할 수 있지만 재생성 간에 결과가 다를 수 있다.
• 일반적인 실패로는 특이 행렬, 배열 크기 불일치, 부적절한 라이브러리 사용, 긴 코드의 중단 등이 있다.
• ChatGPT는 직렬 코드를 병렬화하고 계산물리에서 PINNs 및 CNN과 같은 ML 기반 접근법에 대응할 수 있다.
• 응답 재생성은 경우에 따라 명확한 성능 차이 없이 상당히 다른 코드 구조를 낳을 수 있다.
• 이 도구는 수치 프로그래밍 작업의 자동화에 대한 잠재력과 한계를 모두 보여준다.