[논문 리뷰] The potential of LLMs for coding with low-resource and domain-specific programming languages

Artur Tarassow|arXiv (Cornell University)|2023. 07. 24.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 저자원 및 도메인 특화 프로그래밍 언어에서 대규모 언어 모델(Large Language Models, LLMs)의 사용 가능성을 조사한다. 특히 gretl의 hansl 스크립팅 언어를 중심으로 분석한다. 공개된 코드가 제한된 상황에서도, GPT-3.5 기반의 LLM은 gretl 코드를 성공적으로 생성하고 문서화하며 리팩터링했으며, 정확한 경제계량 설명을 제공하고 반복적 프롬프팅을 통해 문법 오류를 수정했다. 이는 저자원 도메인 특화 언어로의 일반화 능력이 뛰어나다는 것을 보여준다.

ABSTRACT

This paper presents a study on the feasibility of using large language models (LLM) for coding with low-resource and domain-specific programming languages that typically lack the amount of data required for effective LLM processing techniques. This study focuses on the econometric scripting language named hansl of the open-source software gretl and employs a proprietary LLM based on GPT-3.5. Our findings suggest that LLMs can be a useful tool for writing, understanding, improving, and documenting gretl code, which includes generating descriptive docstrings for functions and providing precise explanations for abstract and poorly documented econometric code. While the LLM showcased promoting docstring-to-code translation capability, we also identify some limitations, such as its inability to improve certain sections of code and to write accurate unit tests. This study is a step towards leveraging the power of LLMs to facilitate software development in low-resource programming languages and ultimately to lower barriers to entry for their adoption.

연구 동기 및 목표

• 저자원 및 도메인 특화 언어, 예를 들어 gretl의 hansl 언어에서 대규모 언어 모델(LLMs)를 사용한 프로그래밍의 가능성을 평가하는 것.
• 공개적으로 이용 가능한 LLM이 훈련 데이터가 제한된 언어, 예를 들어 hansl처럼 저자원 언어로 효과적으로 일반화할 수 있는지 조사하는 것.
• LLM이 코드 문서화, 설명, 리팩터링, 오류 수정과 같은 일반적인 경제계량 프로그래밍 작업을 얼마나 잘 수행할 수 있는지 평가하는 것.
• 응용 경제학 분야에서 도메인 특화 및 저자원 언어가 널리 사용되는 상황에서 LLM이 프로그래밍 보조자로 활용될 잠재력을 탐색하는 것.

제안 방법

• gretl에서 사용하는 hansl 스크립팅 언어에서 프로그래밍 작업을 수행하기 위해 기업 내부의 전용 LLM(GPT-3.5 기반)을 활용했다.
• 자연어 프롬프트에서 코드 생성, docstring 생성, 코드 설명, 리팩터링 등의 일련의 프로그래밍 작업을 수행했다.
• 생성된 스크립트의 문법 오류(예: 잘못된 smpl 및 gnuplot 명령어 구문)를 수정하기 위해 반복적 프롬프팅 기법을 사용했다.
• 실제 경제계량 작업(예: 시계열 차분, OLS 회귀, 적합값 플로팅)에 대한 LLM의 출력을 평가했다.
• 생성된 코드를 정확한 gretl 문법과 비교하고, 정확성, 가독성, 설명의 기술적 정확성 등을 평가했다.
• 선형 대수학과 경제계량학을 포함한 도메인 특화 작업에 집중하여, LLM이 기술적 내용을 얼마나 잘 이해하는지 테스트했다.

실험 결과

연구 질문

• RQ1 LLM은 저자원, 도메인 특화 프로그래밍 언어인 hansl과 같은 언어에서 코드를 효과적으로 생성하고 이해할 수 있는가?
• RQ2 LLM은 자연어 기반 설명으로부터 정확하고 문법적으로 올바른 gretl 스크립트를 얼마나 잘 생성할 수 있는가?
• RQ3 LLM은 hansl 언어에서 복잡한 경제계량 코드의 설명적 docstring을 얼마나 잘 생성하고, 이를 정확하게 설명할 수 있는가?
• RQ4 반복적 프롬프팅은 LLM이 생성한 gretl 코드의 문법 오류를 수정하는 데 효과적인가? 그 과정은 얼마나 효율적인가?
• RQ5 현재 LLM은 저자원 언어에서 코드 품질 향상 및 단위 테스트 생성에 있어 어떤 한계를 지니는가?

주요 결과

• LLM은 초보자 경제계량 작업(1차 차분, OLS 회귀, 적합값 플로팅 포함)을 위한 기능성 있는 gretl 스크립트를 성공적으로 생성했다.
• 소수의 문법 오류(예: 잘못된 smpl 및 gnuplot 명령어 구문)가 있었지만, 반복적 프롬프팅을 거친 후 LLM이 생성한 스크립트는 대부분 정확하고 사용 가능했다.
• LLM은 hansl 함수에 대한 기술적이고 설명적인 docstring을 강력하게 생성했고, 이를 다시 코드로 변환하는 데에도 능했다.
• LLM은 추상적이고 문서화가 부족한 경제계량 코드에 대해 정확하고 정밀한 설명을 제공하여 코드의 가독성과 유지보수성을 향상시켰다.
• 특히 복잡한 선형 대수학 및 통계 연산에서 더 나은 변수명과 함수명을 제안함으로써 코드의 가독성을 향상시켰다.
• LLM은 gretl 코드에 대한 정확한 단위 테스트를 생성하지 못했으며, 이는 저자원 언어에서 테스트 생성 기능에 있어 핵심적인 한계임을 시사한다.