[論文レビュー] Decision Support for Increasing the Efficiency of Crowdsourced Software Development

Muhammad Rezaul Karim, David W. Messinger+2 more|arXiv (Cornell University)|Oct 13, 2016

Software Engineering Research参考文献 8被引用数 5

ひとこと要約

本稿では、作業者の成功予測、タスクの実行可能性、最適な作業者-タスクマッチングを予測することで、クラウドソーシングソフトウェア開発における効率を向上させる機械学習駆動の意思決定支援システムを提案する。Topcoderのデータを用いたランダムフォレストを用いた手法により、1タスクあたり非生産的作業が最大4.6人日削減され、80%を超えるF-measureで非提出リスクを予測可能であり、上位2順位内に最適候補者を94.07%の正確さで推薦できる。

ABSTRACT

Crowdsourced software development (CSD) offers a series of specified tasks to a large crowd of trustworthy software workers. Topcoder is a leading platform to manage the whole process of CSD. While increasingly accepted as a realistic option for software development, preliminary analysis on Topcoder's software crowd worker behaviors reveals an alarming task-quitting rate of 82.9%. In addition, a substantial number of tasks do not receive any successful submission. In this paper, we report about a methodology to improve the efficiency of CSD. We apply massive data analytics and machine leaning to (i) perform comparative analysis on alternative technique analysis to predict likelihood of winners and quitters for each task, (ii) significantly reduce the amount of non-succeeding development effort in registered but inappropriate tasks, (iii) identify and rank the most qualified registered workers for each task, and (iv) provide reliable prediction of tasks risky to get any successful submission. Our results and analysis show that Random Forest (RF) based predictive technique performs best among the alternative techniques studied. Applying RF, the tasks recommended to workers can reduce the amount of non-succeeding development effort to a great extent. On average, over a period of 30 days, the savings are 3.5 and 4.6 person-days per registered tasks for experienced resp. unexperienced workers. For the task-related recommendations of workers, we can accurately recommend at least 1 actual winner in the top ranked workers, particularly 94.07% of the time among the top-2 recommended workers for each task. Finally, we can predict, with more than 80% F-measure, the tasks likely not getting any submission, thus triggering timely corrective actions from CSD platforms or task requesters.

研究の動機と目的

• Topcoderのようなプラットフォームにおける高いタスク離脱率（82.9%）と低い提出率を是正すること。
• 不適切なタスク-作業者マッチングを特定・除外することで、非成功開発作業を削減すること。
• 各タスクに対する最も適任の作業者をランク付けすることで、タスク割り当ての効率を向上させること。
• 提出が得られない高リスクタスクを事前に予測し、能動的な対応を可能とすること。
• CSD環境における予測精度を評価・比較するため、複数の機械学習手法を検証すること。

提案手法

• 実世界のTopcoderのタスクおよび作業者データを用いた大規模データ分析により、予測特徴量を抽出する。
• ランダムフォレスト、ロジスティック回帰、SVM、ナイーブベイズの複数の機械学習手法を用い、比較分析を行う。
• 作業者ごとのタスク優勝確率と離脱確率の2つの結果を予測するためのモデルを学習する。
• 予測された成功確率に基づき、各タスクの作業者を順位付けし、最も適任の候補者を優先順位付けする。
• F-measureを評価指標として用い、提出が得られない可能性の高いタスクを特定する予測モデルを開発する。
• 非効率な作業を最小限に抑えるために、開発開始前にマッチングをフィルタリングすることでタスク割り当てを最適化する。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングソフトウェア開発において、作業者の成功とタスク離脱行動を予測する際、どの機械学習手法が最も優れているか？
• RQ2 予測モデリングによって、登録済みだが不適切なタスクにおける非成功開発作業は、どの程度削減可能か？
• RQ3 実際に勝利する可能性の高い作業者を上位順位で推薦するシステムの正確さはどの程度か？
• RQ4 提出が得られないタスクを信頼性高く予測できるか。これにより、早期に是正措置を講じることが可能か？
• RQ5 作業者の経験水準は、予測的推薦の有効性にどのような影響を及えるか？

主な発見

• ランダムフォレストは、タスク優勝と離脱の両方の予測において、他のすべての手法を上回り、最適なモデルであると判明した。
• 本システムにより、経験豊富な作業者では1登録タスクあたり平均3.5人日、経験の浅い作業者では4.6人日の非成功開発作業が30日間で削減された。
• 上位2名の推薦候補に実際に優勝した作業者が含まれたケースは94.07%にのぼり、高い推薦正確性を示した。
• 提出が得られない可能性の高いタスクをF-measure 80%を超えて予測可能であり、問題のあるタスクの早期特定が可能となった。
• 開発開始前に作業者とタスクの不適切なマッチングをフィルタリングすることで、無駄な作業が顕著に削減された。
• 結果から、データ駆動型意思決定支援は、クラウドソーシングソフトウェア開発の効率性と成功確率を顕著に向上させられると示唆された。