[論文レビュー] Gamification: a Game Changer for Managing Technical Debt? A Design Study

Matthieu Foucault, Xavier Blanc+3 more|arXiv (Cornell University)|Feb 8, 2018

FinTech, Crowdfunding, Digital Finance被引用数 8

ひとこと要約

本論文は、大規模なレガシーシステムにおける開発者のモチベーション向上とマネージャーの監視を促進するために、技術的負債管理をバージョン管理およびSonarQube分析と統合したゲーム化ツール「Themis」を提示する。反復的デザインと3か月間の定性的研究を通じて、ゲーム化はモチベーションを高め、効果的な追跡を可能にするが、悪影響を避けるために注意深い設計が不可欠であることが示された。

ABSTRACT

Context: Technical debt management is challenging for software engineers due to poor tool support and a lack of knowledge on how to prioritize technical debt repayment and prevention activities. Furthermore, when there is a large backlog of debt, developers often lack the motivation to address it. Objective: In this paper, we describe a design study to investigate how gamification can support Technical Debt Management in a large legacy software system of an industrial company. Our study leads to a novel tool (named Themis) that combines technical debt support, version control, and gamification features. In addition to gamification features, Themis provides suggestions for developers on where to focus their effort, and visualizations for managers to track technical debt activities. Method: We describe how Themis was refined and validated in an iterative deployment with the company, finally conducting a qualitative study to investigate how the features of Themis affect technical debt management behavior. We consider the impact on both developers and managers. Results: Our results show that it achieves increased developer motivation, and supports managers in monitoring and influencing developer behaviors. We show how our findings may be transferable to other contexts by proposing guidelines on how to apply gamification. Conclusions: With this case, gamification appears as a promising solution to help technical debt management, although it needs to be carefully designed and implemented to avoid its possible negative effects.

研究の動機と目的

• 大規模なレガシーシステムにおける技術的負債の返済や防止に対する開発者のモチベーションが低いという課題に対処すること。
• 開発者とマネージャーの両方を支援する技術的負債管理を促進するゲーム化ツールの設計と検証すること。
• ゲーム化が実際の産業現場における開発者の行動とモチベーションに与える影響を調査すること。
• 技術的負債管理におけるゲーム化の実装に役立つ実務的ガイドラインを提供すること。

提案手法

• 550,000行を超えるコードと2,000日分以上の技術的負債を有する10年間の歴史を持つ大規模なレガシーシステムを対象に、産業パートナー（Pôle Emploi）と協働して問題中心のデザイン研究を実施した。
• バージョン管理、SonarQubeによる技術的負債検出、およびポイント、ランクイング、チャレンジなどのゲーム化機能を統合した「Themis」というツールを設計した。
• 開発者とマネージャーからのフィードバックを活用し、早期導入を経て反復的にツールを最適化した。
• 開発者およびマネージャーを対象に3か月間の定性的研究を実施し、行動的・モチベーショナルな影響を評価した。
• 公平性を保ち、動機付けの低下を防ぐために、スコアのリセットや手動調整などのカスタマイズ可能なゲーム化メカニズムを導入した。
• 調査結果に基づき、統合、公平性、長期的なモチベーションの監視に重点を置いた7つのガイドラインを策定した。

実験結果

リサーチクエスチョン

• RQ1 ゲーム化は、大規模なレガシーシステムにおける開発者の技術的負債返済・防止のモチベーションにどのように影響を与えるか？
• RQ2 ゲーム化機能は、マネージャーが技術的負債管理活動を監視・指導するために、どのような形で支援できるか？
• RQ3 技術的負債管理におけるゲーム化の悪影響を避けるために、どのような設計上の配慮が重要か？
• RQ4 生産性の低下を引き起こさずに、既存のソフトウェア開発ワークフローにゲーム化を効果的に統合するにはどうすればよいか？

主な発見

• ゲーム化により、特にランクイングやポイントシステムといった競争的要素のおかげで、開発者の技術的負債対応へのモチベーションが顕著に向上した。
• Themisのリアルタイム可視化とパフォーマンス追跡機能により、マネージャーは技術的負債関連活動に対する可視性と影響力を大幅に向上させた。
• スプリント終了時にスコアをリセットすることで、開発者が常に遅れをとっていると感じることを防ぎ、継続的な関与と公平性を維持できた。
• 既存のバージョン管理およびSonarQubeワークフローとの統合により、開発者の日常業務への干渉を最小限に抑えることができた。
• 一部の開発者がスコアを向上させるために「意図的な負債」を意図的に生成する事例が確認された。これは、ゲーム化が適切に設計されていないと、望ましくない行動を促進する可能性があることを示している。
• 本研究では、公平性、統合、長期的モチベーションの監視に重点を置いた7つの主要ガイドラインを同定した。