[논문 리뷰] Some things never change: how far generative AI can really change software engineering practice

Aline de Campos, Jorge Melegati외 4명|arXiv (Cornell University)|2024. 06. 14.

Big Data and Business Intelligence인용 수 6

한 줄 요약

이 논문은 GenAI가 단기에서 중기적으로 깊게 변형될 가능성이 낮은 SE 측면을 식별하기 위해 소프트웨어 엔지니어를 설문조사하고, 이러한 시각을 기존 SE 로드맵과 비교하여 생산성 향상과 지속적인 인간 주도 필요 및 윤리적 우려를 강조한다.

ABSTRACT

Generative Artificial Intelligence (GenAI) has become an emerging technology with the availability of several tools that could impact Software Engineering (SE) activities. As any other disruptive technology, GenAI led to the speculation that its full potential can deeply change SE. However, an overfocus on improving activities for which GenAI is more suitable could negligent other relevant areas of the process. In this paper, we aim to explore which SE activities are not expected to be profoundly changed by GenAI. To achieve this goal, we performed a survey with SE practitioners to identify their expectations regarding GenAI in SE, including impacts, challenges, ethical issues, and aspects they do not expect to change. We compared our results with previous roadmaps proposed in SE literature. Our results show that although practitioners expect an increase in productivity, coding, and process quality, they envision that some aspects will not change, such as the need for human expertise, creativity, and project management. Our results point to SE areas for which GenAI is probably not so useful, and future research could tackle them to improve SE practice.

연구 동기 및 목표

• 단기/중기적으로 GenAI에 의해 깊게 변형될 가능성이 낮은 SE 활동 식별.
• 실무자 기대치를 이전 문헌의 SE 로드맵과 비교.
• 생산성 및 품질 향상과 같은 인식된 이점과 지속적인 인간 중심의 필요를 강조.
• SE에서 GenAI 채택에 영향을 미치는 도전과 윤리적 고려사항 및 조직적 요인을 논의.

제안 방법

• 대형 IT 기업의 SE 전문가에게 구조화된 온라인 설문지를 설계하고 배포한다.
• 정량 데이터를 기술통계로 분석하고 정성 데이터를 주제 분석으로 분석한다.
• 질문을 다듬고 명확성과 편향 최소화를 보장하기 위한 파일럿 연구를 수행한다.
• 개방형 응답에 대해 귀납적(근거 이론) 코딩을 사용하여 주제를 식별한다.
• 시각 자료를 통한 결과를 제시하고 코드 및 범주가 포함된 보조 데이터 패키지(Zenodo)를 제공한다.

실험 결과

연구 질문

• RQ1 단기에서 중기에 GenAI로 인해 깊게 변하지 않을 것으로 예상되는 SE 측면은 무엇인가?
• RQ2 실무자 기대치가 GenAI 영향에 관한 기존에 제안된 SE 로드맵과 얼마나 일치하는가?
• RQ3 SE의 GenAI 도입에 대한 주요 인식 이점, 도전과제 및 윤리적 고려사항은 무엇인가?
• RQ4 어떤 SE 프로세스가 GenAI 보강에 가장 많이/가장 덜 취약하다고 여겨지는가?

주요 결과

• 실무자들은 생산성과 품질 향상을 기대하지만 인간 전문성, 창의성 및 특정 관리 측면의 깊은 변화는 예상하지 않는다.
• 코딩과 단위 테스트가 GenAI 잠재력이 가장 많이 확인된 프로세스이며, 그 다음으로 아키텍처, 시스템/테스트, 유지보수가 정도의 차이로 뒤따른다.
• 인식된 영향에는 기민성, 분석/개발 지원, 프로세스 품질 개선이 포함되며, 인간-AI 협업 증가와 새로운 역할이 함께 나타난다.
• 주요 채택 도전과제는 인적/문화적 이슈, 기술적 우려(특히 데이터 보안 및 모델 투명성), 전략적/관리적 고려사항이다.
• 윤리적 우려는 데이터 무결성, 프라이버시, 편향성, 투명성, 지적 재산권, 책임성, 거버넌스 및 인간 감독의 필요성에 집중된다.