[논문 리뷰] Profiling Software Developers with Process Mining and N-Gram Language Models

João Caldeira, Fernando Brito e Abreu외 3명|arXiv (Cornell University)|2021. 01. 17.

Software Engineering Research참고 문헌 42인용 수 4

한 줄 요약

이 논문은 제어된 파이썬 프로그래밍 대회 동안 파이참 IDE와 무스하크 자동 채점기의 이벤트 로그를 기반으로 프로세스 마이닝과 n-gram 언어 모델을 융합하여 소프트웨어 개발자의 프로파일을 구성하는 새로운 접근법을 제안한다. 이 방법은 일관된 개발자 지문을 성공적으로 추출하며, 프로세스 단순성 지표를 활용해 우수한 성과를 내는 개발자와 그렇지 않은 이들을 구분하고, 코드 품질과 관련된 일관된 행동 패턴을 식별함으로써 '소프트웨어 개발 프로세스 냄새' 탐지 가능성을 시사한다.

ABSTRACT

Context: Profiling developers is challenging since many factors, such as their skills, experience, development environment and behaviors, may influence a detailed analysis and the delivery of coherent interpretations. Objective: We aim at profiling software developers by mining their software development process. To do so, we performed a controlled experiment where, in the realm of a Python programming contest, a group of developers had the same well-defined set of requirements specifications and a well-defined sprint schedule. Events were collected from the PyCharm IDE, and from the Mooshak automatic jury where subjects checked-in their code. Method: We used n-gram language models and text mining to characterize developers' profiles, and process mining algorithms to discover their overall workflows and extract the correspondent metrics for further evaluation. Results: Findings show that we can clearly characterize with a coherent rationale most developers, and distinguish the top performers from the ones with more challenging behaviors. This approach may lead ultimately to the creation of a catalog of software development process smells. Conclusions: The profile of a developer provides a software project manager a clue for the selection of appropriate tasks he/she should be assigned. With the increasing usage of low and no-code platforms, where coding is automatically generated from an upper abstraction layer, mining developer's actions in the development platforms is a promising approach to early detect not only behaviors but also assess project complexity and model effort.

연구 동기 및 목표

• IDE 및 자동 채점기 이벤트 로그를 활용해 텍스트 및 프로세스 마이닝 기법을 통해 소프트웨어 개발자 프로파일을 추출할 수 있는지 조사하는 것.
• n-gram 언어 모델이 소프트웨어 개발 세션 동안의 개발자 행동 패턴을 효과적으로 표현하고 분류할 수 있는지 평가하는 것.
• 프로세스 마이닝이 우수한 성과를 내는 개발자와 그렇지 않은 개발자 간의 의미 있는 워크플로우 차이를 드러낼 수 있는지 평가하는 것.
• 개발자 행동 시퀀스의 자동 분석을 통해 '소프트웨어 개발 프로세스 냄새' 탐지를 위한 가능성을 탐색하는 것.
• 행동 프로파일링 기반으로 지능형 IDE 피드백 및 개선된 팀 자원 배분을 위한 기반을 제공하는 것.

제안 방법

• 37명의 개발자가 참가한 제어된 파이썬 프로그래밍 대회 동안 파이참 IDE와 무스하크 자동 채점기의 이벤트 로그를 수집하는 것.
• 개발자 행동의 시퀀스를 의사 자연어 텍스트로 모델링하기 위해 n-gram 언어 모델(삼중 및 사중)을 적용하는 것.
• 이벤트 로그에서 기반 워크플로우를 발견하고, 시각화하며, 평가하기 위해 프로세스 마이닝 알고리즘을 사용하는 것.
• 개발자 워크플로우 간 비교 및 행동 일관성 평가를 위해 프로세스 단순성 지표를 계산하는 것.
• 퍼플렉서티 및 통계적 검증을 통해 모델 성능을 평가하고 프로파일링 접근법의 견고성을 검증하는 것.
• 행동 프로파일과 작업 결과 간의 상관관계를 분석하여 코드 품질 및 생산성과 관련된 패턴을 식별하는 것.

실험 결과

연구 질문

• RQ1 소프트웨어 개발 중 개발자 행동을 행동 시퀀스로 효과적으로 모델링하고, n-gram 언어 모델을 통해 분석할 수 있는가?
• RQ2 프로세스 마이닝 기법이 우수한 성과를 내는 개발자와 그렇지 않은 개발자를 구분할 수 있는 뚜렷하고 해석 가능한 워크플로우를 드러내는가?
• RQ3 우수한 성과를 내는 개발자와 다른 이들 간에 프로세스 단순성에 측정 가능한 차이가 존재하는가? 이는 더 효율적인 개발 관행을 시사하는가?
• RQ4 추출된 행동 지문을 사용해 일관된 개발 패턴 또는 '프로세스 냄새'를 탐지할 수 있는가?
• RQ5 이러한 프로파일이 IDE에서의 정보 기반 작업 배정이나 실시간 피드백에 어느 정도 기여할 수 있는가?

주요 결과

• 퍼플렉서티 평가를 통해 삼중 및 사중 n-gram 언어 모델이 개발자 행동 패턴을 가장 균형 잡힌 방식으로 포착함을 확인하였다.
• 프로세스 마이닝은 우수한 성과를 내는 개발자와 그렇지 않은 이들을 명확히 구분하는 뚜렷하고 해석 가능한 워크플로우를 드러냈다.
• 우수한 성과를 내는 개발자와 다른 이들 간에 프로세스 단순성에 유의미한 차이가 관찰되었으며, 특히 우수한 성과를 내는 개발자들이 더 간결하고 일관된 워크플로우를 보였다.
• 이 방법은 최종 결과물에 의존하지 않고도 생산성과 코드 품질을 평가할 수 있는 일관된 개발자 지문을 성공적으로 생성하였다.
• 이 연구는 IDE 이벤트 시퀀스의 자동 분석을 통해 '소프트웨어 개발 프로세스 냄새' 탐지의 가능성을 입증하였다.
• 결과적으로 이러한 프로파일링이 비효율적인 관행의 조기 탐지 및 개선된 팀 자원 배분을 위한 정보 제공에 기여할 수 있음을 시사한다.