[論文レビュー] The potential of LLMs for coding with low-resource and domain-specific programming languages

Artur Tarassow|arXiv (Cornell University)|Jul 24, 2023

Topic Modeling被引用数 4

ひとこと要約

本研究では、低リソースかつ分野特化型プログラミング言語における大規模言語モデル（LLM）の利用可能性を検討し、gretlのhanslスクリプト言語に焦点を当てた。公開コードが限られているにもかかわらず、GPT-3.5に基づくLLMは、gretlコードの生成・文書化・リファクタリングに成功し、経済推計の説明を正確に提供し、繰り返しプロンプトによる改善で構文エラーを是正した。これは、低リソースの分野特化型言語への一般化能力が非常に高いことを示している。

ABSTRACT

This paper presents a study on the feasibility of using large language models (LLM) for coding with low-resource and domain-specific programming languages that typically lack the amount of data required for effective LLM processing techniques. This study focuses on the econometric scripting language named hansl of the open-source software gretl and employs a proprietary LLM based on GPT-3.5. Our findings suggest that LLMs can be a useful tool for writing, understanding, improving, and documenting gretl code, which includes generating descriptive docstrings for functions and providing precise explanations for abstract and poorly documented econometric code. While the LLM showcased promoting docstring-to-code translation capability, we also identify some limitations, such as its inability to improve certain sections of code and to write accurate unit tests. This study is a step towards leveraging the power of LLMs to facilitate software development in low-resource programming languages and ultimately to lower barriers to entry for their adoption.

研究の動機と目的

• 低リソースかつ分野特化型言語、たとえばgretlのhanslにおけるプログラミングに大規模言語モデル（LLM）を用いる可能性を評価すること。
• 公開利用可能なLLMが、hanslのような学習データが限られたプログラミング言語にも効果的に一般化できるかどうかを調査すること。
• LLMが、コードの文書化、説明、リファクタリング、エラー訂正といった一般的な経済推計プログラミングタスクをどの程度支援できるかを評価すること。
• 応用経済学分野における分野特化型・低リソース言語が一般的であることを踏まえ、LLMがプログラミングアシスタントとしての可能性を検討すること。

提案手法

• gretlが使用するhanslスクリプト言語におけるプログラミングタスクを実行するために、GPT-3.5に基づく特許取得済みLLMを採用した。
• 自然言語プロンプトからのコード生成、ドキュメンテーション文字列（docstring）の生成、コードの説明、リファクタリングといった一連のコーディングタスクを実施した。
• 構文エラー（例：誤ったsmplやgnuplotコマンド構文）を是正するために、繰り返しプロンプト開発を実施した。
• 時系列差分、OLS回帰、適合値プロットといった実際の経済推計タスクに基づいてLLMの出力を評価した。
• 生成されたコードを正しいgretl構文と比較し、正しさ、読みやすさ、説明の技術的正確性を評価した。
• 線形代数と経済推計の技術的コンテキストを含む分野特化タスクに注目し、LLMの技術的コンテンツ理解度をテストした。

実験結果

リサーチクエスチョン

• RQ1 LLMは、hanslのような低リソースで分野特化型のプログラミング言語において、コードの生成と理解を効果的に実行できるか？
• RQ2 LLMは、自然言語の記述から、正確で構文的に正しいgretlスクリプトをどの程度生成できるか？
• RQ3 LLMは、hanslにおける複雑な経済推計コードの説明的ドキュメンテーション文字列をどの程度正確に生成できるか？
• RQ4 繰り返しプロンプトによって、LLMが生成したgretlコードの構文エラーを是正できるか？そのプロセスはどの程度効果的か？
• RQ5 現在のLLMは、低リソース言語におけるコード品質の向上と単体テストの生成において、どのような制限を抱えているか？

主な発見

• LLMは、初等的経済推計タスク（一次差分、OLS回帰、適合値プロット含む）のための機能的なgretlスクリプトを正常に生成した。
• smplやgnuplotコマンド構文のわずかな構文エラーが存在したが、繰り返しプロンプトによる改善を経て、LLMが生成したスクリプトは基本的に正しく、使用可能であった。
• LLMは、hansl関数の説明的で技術的なドキュメンテーション文字列の生成に強く、それらを元にコードに再変換する能力を示した。
• 抽象的で文書化が不十分な経済推計コードに対しても、正確かつ的確な説明を提供し、コードの可読性と保守性を向上させた。
• 特に線形代数や統計的演算が複雑な処理において、より良い変数名・関数名の提案を通じて、コードの可読性を向上させた。
• LLMはgretlコードの正しい単体テストを生成できなかったため、低リソース言語におけるテスト生成の分野に明確な限界があることが示された。