[論文レビュー] Generative Software Engineering

Yuan Huang, Yinan Chen+7 more|arXiv (Cornell University)|Mar 5, 2024

Advanced Software Engineering Methodologies被引用数 4

ひとこと要約

本論文は、事前学習モデルおよび大規模言語モデル（LLM）を活用したソフトウェア工学における生成的タスクに関する体系的文献レビューを提示し、ソフトウェア開発ライフサイクル全体にわたってそのタスクを分類している。モデルアーキテクチャ、データセット、評価指標を分析し、主な課題と研究ギャップを特定し、LLMを用いたソフトウェア工学分野における今後の研究の包括的なロードマップを提示している。

ABSTRACT

The rapid development of deep learning techniques, improved computational power, and the availability of vast training data have led to significant advancements in pre-trained models and large language models (LLMs). Pre-trained models based on architectures such as BERT and Transformer, as well as LLMs like ChatGPT, have demonstrated remarkable language capabilities and found applications in Software engineering. Software engineering tasks can be divided into many categories, among which generative tasks are the most concern by researchers, where pre-trained models and LLMs possess powerful language representation and contextual awareness capabilities, enabling them to leverage diverse training data and adapt to generative tasks through fine-tuning, transfer learning, and prompt engineering. These advantages make them effective tools in generative tasks and have demonstrated excellent performance. In this paper, we present a comprehensive literature review of generative tasks in SE using pre-trained models and LLMs. We accurately categorize SE generative tasks based on software engineering methodologies and summarize the advanced pre-trained models and LLMs involved, as well as the datasets and evaluation metrics used. Additionally, we identify key strengths, weaknesses, and gaps in existing approaches, and propose potential research directions. This review aims to provide researchers and practitioners with an in-depth analysis and guidance on the application of pre-trained models and LLMs in generative tasks within SE.

研究の動機と目的

• 事前学習モデルとLLMを統合する体系的文献レビューが不足している現状を是正すること。
• ソフトウェア開発ライフサイクル全体にわたる生成的ソフトウェア工学タスクを分類すること。
• 生成的SEタスクに用いられる代表的なモデル、データセット、評価指標を分析すること。
• 現在のアプローチにおける制限事項、課題、研究ギャップを特定すること。
• LLMを用いたソフトウェア工学分野における今後の実行可能な研究方向性を提案すること。

提案手法

• 事前学習モデルおよびLLMを用いたソフトウェア工学における生成的タスクに焦点を当てた体系的文献レビューを実施した。
• ソフトウェア工学タスクを7つのサブタスクに分類した：要件生成、コード生成、コード要約、テスト生成、パッチ生成、コード最適化、コード翻訳。
• 主要な事前学習モデル（例：BERT、GPT、XLNet）およびLLM（例：ChatGPT、GPT-4）を、これらのタスクにおいてレビュー・比較した。
• 既存の研究で用いられているデータセットおよび評価指標を分析し、モデルのパフォーマンスを評価した。
• 生成的SE応用におけるファインチューニング、プロンプト工学、トランスファーラーニング戦略の統合的知見を抽出した。
• モデルの不安定性、コード特化型のファインチューニング不足、コード中心のLLMの評価が不十分であるといった繰り返し課題を特定した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア工学の文脈において、事前学習モデルはどのように大規模言語モデル（LLM）へと進化したか？
• RQ2 ソフトウェア工学における明確な生成的タスクとは何か、そしてそれらはソフトウェア開発ライフサイクルのどの段階に分布しているか？
• RQ3 異なるタイプの生成的ソフトウェア工学タスクに最も効果的な事前学習モデルおよびLLMは何か？
• RQ4 現在の研究で一般的に用いられているデータセットおよび評価指標は何か、それらはモデル評価にどのように影響しているか？
• RQ5 LLMを生成的ソフトウェア工学タスクに適用するにあたり、主な制限事項と未解決の課題は何か？

主な発見

• GPT-4などのLLMは、タスク固有のプロンプトを用いることで、コード要約およびC#からJavaへのコード翻訳においてベースラインモデルを上回る性能を示した。
• 基本的なプロンプトでは、コード生成およびJavaからC#へのクロスラングエージョン翻訳において、しばしば最適でないパフォーマンスが得られることが明らかになった。
• コンテキスト学習およびプロンプト工学は、LLMの出力品質を顕著に向上させた。ユーザースタディーでは、反復的プロンプトの適用が応答の関連性を高めることを示した。
• 一般向けLLMを特定のソフトウェア工学タスクに適応させるために、ファインチューニングとプロンプト工学が不可欠である。
• Codexのようなコード中心のLLMについては、詳細な評価が不足しており、多くの研究がChatGPTのような一般モデルに依存している。
• 現在の研究では、LLMが特定のタスクにおいて一貫性や信頼性に欠けることが判明しており、より良いタスク固有のファインチューニングおよび評価フレームワークの構築が求められている。