[論文レビュー] Generative Artificial Intelligence for Software Engineering -- A Research Agenda

Anh Nguyen‐Duc, Beatriz Cabrero‐Daniel+13 more|arXiv (Cornell University)|Oct 28, 2023

Software Engineering Research被引用数 12

ひとこと要約

この論文は、ソフトウェア工学における GenAI の研究アジェンダを提示し、文献調査とフォーカスグループから得られた11の SE 領域にわたる78の未解決の研究課題を特定し、課題と今後の方向性を概説する。

ABSTRACT

Generative Artificial Intelligence (GenAI) tools have become increasingly prevalent in software development, offering assistance to various managerial and technical project activities. Notable examples of these tools include OpenAIs ChatGPT, GitHub Copilot, and Amazon CodeWhisperer. Although many recent publications have explored and evaluated the application of GenAI, a comprehensive understanding of the current development, applications, limitations, and open challenges remains unclear to many. Particularly, we do not have an overall picture of the current state of GenAI technology in practical software engineering usage scenarios. We conducted a literature review and focus groups for a duration of five months to develop a research agenda on GenAI for Software Engineering. We identified 78 open Research Questions (RQs) in 11 areas of Software Engineering. Our results show that it is possible to explore the adoption of GenAI in partial automation and support decision-making in all software development activities. While the current literature is skewed toward software implementation, quality assurance and software maintenance, other areas, such as requirements engineering, software design, and software engineering education, would need further research attention. Common considerations when implementing GenAI include industry-level assessment, dependability and accuracy, data accessibility, transparency, and sustainability aspects associated with the technology. GenAI is bringing significant changes to the field of software engineering. Nevertheless, the state of research on the topic still remains immature. We believe that this research agenda holds significance and practical value for informing both researchers and practitioners about current applications and guiding future research.

研究の動機と目的

• 現在の GenAI のソフトウェア工学における現状を把握し、知識のギャップを特定する。
• オープンな研究課題をSE活動全体の首尾一貫したトラックに整理する。
• 研究者と実務家が GenAI が SE のタスクをどのように支援できるかについて実践的な指針を提供する。
• 信頼性、データアクセス、倫理、透明性などの課題と将来の機会を強調する。

提案手法

• Google Scholar、Scopus、arXiv、PaperwithCode を活用した焦点を絞った文献調査を実施し、前方・後方スノーボール法を用いた。
• SE 研究者を対象とした4つの構造化フォーカスグループ（2023年4月–9月）を開催し、RQs をブレインストーミングおよび検証した。
• フォーカスグループと文献調査の所見を11-trackの研究アジェンダに統合した。
• AI支援型アジャイルソフトウェア開発と RESET の2つの国際イベント/ワークショップからの知見をアジェンダの土台として取り入れた。
• フォーカスグループ手法の妥当性への脅威と緩和策を報告した。

Figure 1: Several optimal parameter fine-tuning methods [ 34 ]

実験結果

リサーチクエスチョン

• RQ1 GenAI は要件 elicitation をどのように支援できるか？
• RQ2 高レベルのユーザー入力から要件仕様を GenAI が効果的に生成できるようにするには？
• RQ3 GenAI はドメインの制約や規制に対して要件の自動検証をどのように支援できるか？
• RQ4 GenAI を用いて変更要求を予測するには？
• RQ5 前 elicitation、elicitation、specification、analysis、validation の各段階で RE タスクを採用する際の課題と脅威は何か？

主な発見

• 11 のソフトウェア工学領域にわたって 78 open RQs が特定された。
• GenAI の採用は部分自動化および意思決定支援として全 SE 活動にわたって起こり得る。
• 現在の文献はソフトウェア実装、品質保証、保守に偏っており、要件工学、設計、SE教育などの他の領域はさらなる研究が必要。
• SE における GenAI の一般的な考慮事項には信頼性、正確性、データアクセス、透明性、持続可能性が含まれる。
• 研究アジェンダは研究者と実務家の両方を GenAI 活用に導くとともに未解決の課題と今後の方向性に対処することを目指している。
• GenAI は SE に重大な変化をもたらしているが、分野の研究成熟度は依然として未成熟である。

Figure 2: Research Agenda on GenAI for Software Engineering