[논문 리뷰] An Empirical Study of Developer Discussions on Low-Code Software Development Challenges

Md Abdullah Al Alamin, Sanjay Malakar외 4명|arXiv (Cornell University)|2021. 03. 21.

Software Engineering Research참고 문헌 51인용 수 77

한 줄 요약

이 경험적 연구는 9개의 인기 있는 로우코드 플랫폼에 관한 4,600개의 스택 오버플로우 게시글을 분석하여 개발자들이 겪는 주요 과제를 규명한다. LDA 토픽 모델링과 수동 레이블링을 활용한 분석 결과, 커스터마이제이션—특히 동적 이벤트 처리—가 가장 빈번하고 해결하기 어려운 과제로 드러났으며, 이와 관련된 질문 중 75.9%가 수락된 답변을 받지 못해 문서화 및 도구 지원 측면에서 심각한 격차가 있음을 시사한다.

ABSTRACT

Low-code software development (LCSD) is an emerging paradigm that combines minimal source code with interactive graphical interfaces to promote rapid application development. LCSD aims to democratize application development to software practitioners with diverse backgrounds. Given that LCSD is relatively a new paradigm, it is vital to learn about the challenges developers face during their adoption of LCSD platforms. The online developer forum, Stack Overflow (SO), is popular among software developers to ask for solutions to their technical problems. We observe a growing body of posts in SO with discussions of LCSD platforms. In this paper, we present an empirical study of around 5K SO posts (questions + accepted answers) that contain discussions of nine popular LCSD platforms. We apply topic modeling on the posts to determine the types of topics discussed. We find 13 topics related to LCSD in SO. The 13 topics are grouped into four categories: Customization, Platform Adoption, Database Management, and Third-Party Integration. More than 40% of the questions are about customization, i.e., developers frequently face challenges with customizing user interfaces or services offered by LCSD platforms. The topic "Dynamic Event Handling" under the "Customization" category is the most popular (in terms of average view counts per question of the topic) as well as the most difficult. It means that developers frequently search for customization solutions such as how to attach dynamic events to a form in low-code UI, yet most (75.9%) of their questions remain without an accepted answer. We manually label 900 questions from the posts to determine the prevalence of the topics' challenges across LCSD phases. We find that most of the questions are related to the development phase, and low-code developers also face challenges with automated testing.

연구 동기 및 목표

• 실제 토론을 통해 로우코드 개발자들이 겪는 과제의 유형을 이해하기 위해.
• 실제 개발자 Q&A 기반으로 반복되는 로우코드 개발 주제를 식별하고 분류하기 위해.
• 참여도 지표를 활용해 특정 로우코드 주제의 난이도와 인기 정도를 평가하기 위해.
• 로우코드 도입 과정에서의 주요 고통점에 대해 플랫폼 제공자, 교육자, 연구자들에게 통찰을 제공하기 위해.

제안 방법

• 9개 주요 로우코드 플랫폼과 관련된 19개 태그를 활용해 스택 오버플로우에서 4,600개의 게시글(질문 및 수락된 답변 포함)을 수집하였다.
• K=13으로 설정한 잠재적 디리히레트 분포(Latent Dirichlet Allocation, LDA) 토픽 모델링을 적용하여 13개의 별도된 로우코드 주제를 추출하고 분류하였다.
• 900개의 질문을 수동으로 레이블링하여 과제를 소프트웨어 개발 생애주기(SDLC) 단계(예: 개발, 테스트)에 매핑하였다.
• 인기 및 난이도 지표를 계산하기 위해 주제별 평균 조회 수와 수락된 답변이 없는 질문 비율을 산정하였다.
• 최적의 토픽 수(K=13)를 결정하기 위해 일관성 점수(coherence score)와 수동 검증을 활용하였다.
• 다중 저자 레이블링 및 태그 검증을 통한 위협 분석을 수행하여 결과의 타당성을 확보하였다.

실험 결과

연구 질문

• RQ1 스택 오버플로우에서 로우코드 소프트웨어 개발(LCSD)에 관해 논의되는 주제의 유형은 무엇인가?
• RQ2 이 LCSD 주제들은 소프트웨어 개발 생애주기(SDLC) 단계에 어떻게 분포되어 있는가?
• RQ3 LCSD 주제 중에서 가장 해결하기 어려운 주제는 무엇이며, 그 주제의 인기와 난이도 간 상관관계는 어떻게 되는가?

주요 결과

• 사용자 인터페이스 및 서비스의 커스터마이제이션이 가장 자주 논의되는 주제로, 스택 오버플로우에서의 전체 LCSD 관련 질문의 40%를 차지한다.
• '동적 이벤트 처리' 주제는 가장 인기 있는 주제(가장 높은 평균 조회 수)이자 가장 난이도가 높은 주제이며, 질문의 75.9%가 수락된 답변을 받지 못했다.
• LCSD 관련 질문의 85% 이상이 개발 단계와 관련되어 있어, 대부분의 과제가 활성 코딩 및 UI 설계 과정에서 발생함을 시사한다.
• 제3자 API 통합이 가장 어려운 주제 카테고리이며, 데이터베이스 관리는 가장 난이도가 낮은 주제이다.
• 특히 복잡한 커스터마이제이션 작업을 위한 고급 수준의 튜토리얼 기반 문서의 부족함이 명확히 드러났다.
• 로우코드 개발 플랫폼의 시각적 성격으로 인해 디버깅과 자동화된 테스트가 어렵기 때문에 테스트 과제가 널리 퍼져 있다.