[논문 리뷰] Gamification: a Game Changer for Managing Technical Debt? A Design Study

Matthieu Foucault, Xavier Blanc외 3명|arXiv (Cornell University)|2018. 02. 08.

FinTech, Crowdfunding, Digital Finance인용 수 8

한 줄 요약

이 논문은 대규모 레거시 시스템에서 개발자 동기를 향상시키고 관리자 감시를 가능하게 하기 위해 기술적 부채 관리, 버전 제어, SonarQube 분석을 통합한 게임화 도구인 Themis를 제시한다. 반복적인 설계 및 3개월간의 정성적 연구를 통해 게임화가 동기를 증가시키고 효과적인 추적을 가능하게 하며, 부정적 영향을 방지하기 위해 신중한 설계가 필수적임을 입증한다.

ABSTRACT

Context: Technical debt management is challenging for software engineers due to poor tool support and a lack of knowledge on how to prioritize technical debt repayment and prevention activities. Furthermore, when there is a large backlog of debt, developers often lack the motivation to address it. Objective: In this paper, we describe a design study to investigate how gamification can support Technical Debt Management in a large legacy software system of an industrial company. Our study leads to a novel tool (named Themis) that combines technical debt support, version control, and gamification features. In addition to gamification features, Themis provides suggestions for developers on where to focus their effort, and visualizations for managers to track technical debt activities. Method: We describe how Themis was refined and validated in an iterative deployment with the company, finally conducting a qualitative study to investigate how the features of Themis affect technical debt management behavior. We consider the impact on both developers and managers. Results: Our results show that it achieves increased developer motivation, and supports managers in monitoring and influencing developer behaviors. We show how our findings may be transferable to other contexts by proposing guidelines on how to apply gamification. Conclusions: With this case, gamification appears as a promising solution to help technical debt management, although it needs to be carefully designed and implemented to avoid its possible negative effects.

연구 동기 및 목표

• 대규모 레거시 시스템에서 기술적 부채를 갚거나 방지하는 데에 낮은 개발자 동기 문제를 해결하기 위해.
• 개발자와 관리자 양측이 기술적 부채 관리에 도움이 되는 게임화 도구를 설계하고 검증하기 위해.
• 실제 산업 환경에서 게임화가 개발자 행동과 동기에 어떤 영향을 미치는지 조사하기 위해.
• 기술적 부채 관리에 게임화를 구현하기 위한 실용적인 지침을 제공하기 위해.

제안 방법

• 550만 줄 이상의 코드와 2,000일 이상의 기술적 부채를 가진 10년간의 레거시 시스템을 대상으로 산업 파artner(Pôle Emploi)와 함께 문제 중심의 설계 연구를 수행함.
• 버전 제어, 기술적 부채 탐지용 SonarQube, 그리고 포인트, 랭킹 보드, 챌린지와 같은 게임화 기능을 통합한 Themis 도구를 설계함.
• 개발자와 관리자의 피드백을 바탕으로 초기 배포를 통해 반복적으로 도구를 개선함.
• 개발자와 관리자 대상 설문 조사를 통해 행동 및 동기적 영향을 평가하기 위해 3개월간의 정성적 연구를 수행함.
• 공정성 유지 및 동기 저하 방지를 위해 스코어 리셋, 수동 조정 등의 게임화 메커니즘을 맞춤 설정함.
• 발견 결과를 바탕으로 공정성, 통합, 장기적 동기 모니터링을 중시하는 게임화를 위한 일곱 가지 지침을 개발함.

실험 결과

연구 질문

• RQ1 게임화가 대규모 레거시 시스템에서 기술적 부채를 갚거나 방지하기 위한 개발자 동기에 어떤 영향을 미치는가?
• RQ2 게임화 기능은 관리자가 기술적 부채 관리 활동을 모니터링하고 이끌기 위해 어떤 방식으로 도움이 될 수 있는가?
• RQ3 기술적 부채 관리에서 게임화의 부정적 영향을 피하기 위해 필수적인 설계 고려사항은 무엇인가?
• RQ4 생성된 소프트웨어 개발 워크플로우에 게임화를 효과적으로 통합하는 방법은 무엇인가?

주요 결과

• 게임화가 랭킹 보드 및 포인트 시스템과 같은 경쟁 요소를 통해 기술적 부채를 해결하기 위한 개발자 동기를 크게 향상시켰다.
• Themis의 실시간 시각화 및 성과 추적 기능 덕분에 관리자들이 기술적 부채 활동에 대해 향상된 통찰력과 영향력을 확보했다.
• 각 스프린트 종료 시 스코어 리셋이 개발자가 항상 뒤처지지 않는다는 느낌을 주어 참여도와 공정성을 유지하는 데 기여했다.
• 기존의 버전 제어 및 SonarQube 워크플로우와의 통합 덕분에 개발자의 일상적인 업무에 최소한의 영향을 주었다.
• 일부 개발자가 점수 향상을 위해 의도적으로 기술적 부채를 생성하는 행동을 보였으며, 이는 게임화가 신중한 설계 없이 적용될 경우 부작용을 유도할 수 있음을 시사한다.
• 연구를 통해 공정성, 통합, 장기적 동기 모니터링을 중시하는 게임화를 위한 일곱 가지 핵심 지침을 도출했다.