[논문 리뷰] Generative Artificial Intelligence for Software Engineering -- A Research Agenda

Anh Nguyen‐Duc, Beatriz Cabrero‐Daniel외 13명|arXiv (Cornell University)|2023. 10. 28.

Software Engineering Research인용 수 12

한 줄 요약

이 논문은 소프트웨어 엔지니어링에서의 GenAI를 위한 연구 의제를 제시하고, 문헌 검토와 포커스 그룹에서 도출된 11개 SE 영역에 걸친 78개의 미해결 연구 질문을 식별하며, 과제와 향후 방향을 개략적으로 제시한다.

ABSTRACT

Generative Artificial Intelligence (GenAI) tools have become increasingly prevalent in software development, offering assistance to various managerial and technical project activities. Notable examples of these tools include OpenAIs ChatGPT, GitHub Copilot, and Amazon CodeWhisperer. Although many recent publications have explored and evaluated the application of GenAI, a comprehensive understanding of the current development, applications, limitations, and open challenges remains unclear to many. Particularly, we do not have an overall picture of the current state of GenAI technology in practical software engineering usage scenarios. We conducted a literature review and focus groups for a duration of five months to develop a research agenda on GenAI for Software Engineering. We identified 78 open Research Questions (RQs) in 11 areas of Software Engineering. Our results show that it is possible to explore the adoption of GenAI in partial automation and support decision-making in all software development activities. While the current literature is skewed toward software implementation, quality assurance and software maintenance, other areas, such as requirements engineering, software design, and software engineering education, would need further research attention. Common considerations when implementing GenAI include industry-level assessment, dependability and accuracy, data accessibility, transparency, and sustainability aspects associated with the technology. GenAI is bringing significant changes to the field of software engineering. Nevertheless, the state of research on the topic still remains immature. We believe that this research agenda holds significance and practical value for informing both researchers and practitioners about current applications and guiding future research.

연구 동기 및 목표

• 소프트웨어 엔지니어링에서의 GenAI의 현재 상태를 매핑하고 지식 격차를 식별한다.
• SE 활동 전반에 걸친 개방형 연구 질문을 일관된 트랙으로 정리한다.
• GenAI가 SE 작업을 어떻게 지원할 수 있는지에 대해 연구자와 실무자에게 실용적인 지침을 제공한다.
• 신뢰성, 데이터 접근성, 윤리성, 투명성 등과 같은 도전과제와 향후 기회를 강조한다.

제안 방법

• Google Scholar, Scopus, arXiv, PaperwithCode를 활용한 포커스 문헌 검토를 수행하고 전진/후진 스노볼링을 적용했다.
• 2023년 4월~9월에 SE 연구자들과의 네 차례 구조화된 포커스 그룹을 열어 연구 질문(RQ)을 아이디어를 모으고 검증했다.
• 포커스 그룹과 문헌에서 도출된 소견을 11개 트랙의 연구 의제로 통합했다.
• 두 차례의 국제 행사/워크샵(AI-assisted Agile Software Development 및 RESET)에서 얻은 통찰을 의제의 기초로 반영했다.
• 포커스 그룹 방법론의 타당성 위협 및 완화 조치를 보고했다.

Figure 1: Several optimal parameter fine-tuning methods [ 34 ]

실험 결과

연구 질문

• RQ1 GenAI가 요구사항 도출을 어떻게 지원할 수 있는가?
• RQ2 GenAI가 고수준 사용자 입력으로부터 요구사항 명세를 효과적으로 생성할 수 있는 방법은 무엇인가?
• RQ3 GenAI가 도메인 제약 및 규정에 대한 요구사항의 자동 검증을 어떻게 용이하게 할 수 있는가?
• RQ4 GenAI를 사용하여 변경 요청을 예측하는 방법은 무엇인가?
• RQ5 사전 도출(pre-elicitation), 도출(elicitation), 명세, 분석, 검증 단계에 걸친 RE 작업에 GenAI를 채택할 때의 과제와 위협은 무엇인가?

주요 결과

• 11개 소프트웨어 엔지니어링 영역에서 78개의 개방적 RQ가 식별되었다.
• GenAI 채택은 부분 자동화 및 의사 결정 지원으로 SE의 모든 활동에서 이루어질 수 있다.
• 현재 문헌은 소프트웨어 구현, 품질 보증, 유지보수 쪽으로 편향되어 있으며, 요구사항 공학, 설계, SE 교육 등 다른 영역에 대한 연구가 더 필요하다.
• SE에서의 GenAI에 대한 일반적인 고려 사항으로는 신뢰성, 정확성, 데이터 접근성, 투명성, 지속 가능성이 있다.
• 연구 의제는 열려 있는 과제와 향후 방향을 다루면서 연구자와 실무자 모두가 GenAI를 활용하도록 안내하는 것을 목표로 한다.
• GenAI는 SE에 상당한 변화를 가져오고 있지만 이 분야의 연구 성숙도는 미성숙하다.

Figure 2: Research Agenda on GenAI for Software Engineering