[論文レビュー] Don't Tell Me What Is, Tell Me What Ought To Be! Learning Effective Changes for Software Projects.

Rahul Krishna|arXiv (Cornell University)|Aug 15, 2017

Software Engineering Research参考文献 22被引用数 1

ひとこと要約

本論文では、プロジェクト内および複数プロジェクトにまたがる変更の有効性を学習することで、ソフトウェアプロジェクトの改善を導く実行可能な分析を生成するXTREEおよびBELLTREEアルゴリズムを提案する。予測から指示的ガイダンスへの焦点のシフトにより、ソフトウェア品質を向上させる具体的で高影響力のある行動が同定され、意思決定者に明確で根拠に基づいた干渉計画が提供される。

ABSTRACT

The primary motivation of much of software analytics is decision making. How to make these decisions? Should one make decisions based on lessons that arise from within a particular project? Or should one generate these decisions from across multiple projects? This work is an attempt to answer these questions. Our work was motivated by a realization that much of the current generation software analytics tools focus primarily on prediction. Indeed prediction is a useful task, but it is usually followed by about what actions need to be taken. This research seeks to address the planning task by seeking methods that support actionable analytics that offer clear guidance on what to do. Specifically, we propose XTREE and BELLTREE algorithms for generating a set of actionable plans within and across projects. Each of these plans, if followed will improve the quality of the software project.

研究の動機と目的

• 予測に焦点を当てているが、意思決定のための実行可能なガイダンスを欠くソフトウェアアナリティクスツールのギャップを埋める。
• 単一プロジェクト内からではなく、複数プロジェクトにまたがって得られる実行可能なインサイトが、より効果的であるかどうかを検討する。
• ソフトウェアプロジェクトの品質を向上させる明確で実行可能な計画を生成するアルゴリズムを開発する。
• 予測結果の提示にとどまらず、意思決定者に指示的レコメンデーションを提供する。

提案手法

• XTREEは、歴史的データを分析し、品質を向上させる介入ポイントを同定することで、単一のソフトウェアプロジェクト内から有効な変更を学習するように設計されている。
• BELLTREEは、このアプローチを拡張し、複数のプロジェクトから学習することで、有効な実践のクロスプロジェクト移転を可能にし、普遍的に有益な変更を同定する。
• 両アルゴリズムは、変更の影響がプロジェクトの品質メトリクスに与える影響をモデル化するために、意思決定木ベースの構造を用いる。
• アルゴリズムは、品質の予測された向上度に基づいて変更を優先順位付けし、高影響力で実行可能な干渉に焦点を当てる。
• モデルの解釈可能性を高めるために、プロジェクトの特徴と変更の結果を表現する特徴工学を組み込む。
• 手法は、欠陥密度や技術的負債などの品質向上メトリクスに基づいて評価される、歴史的プロジェクトデータで訓練される。

実験結果

リサーチクエスチョン

• RQ1 具体的な変更を提案する実行可能なアナリティクスは、単なる予測に比べて、ソフトウェアプロジェクトの成果をより効果的に改善できるか？
• RQ2 変更の推奨事項を単一プロジェクト内から学ぶのと、複数プロジェクトにまたがって学ぶのとでは、どちらがより効果的か？
• RQ3 どのような種類の変更が、ソフトウェア品質メトリクスに測定可能な改善をもたらすか？
• RQ4 どのようにして、解釈可能で実行可能な計画を生成し、プロジェクトマネージャーが効果的な干渉へ導けるか？

主な発見

• XTREEおよびBELLTREEは、ソフトウェアプロジェクトの品質メトリクスに測定可能な改善をもたらす実行可能な計画を効果的に生成した。
• BELLTREEによるクロスプロジェクト学習は、XTREEによるプロジェクト固有の学習よりも、より広範な有効な変更のセットを同定した。
• これらのアルゴリズムは、どの変更をいつ適用すべきかを明確に示す解釈可能な意思決定ルールを生成した。
• 予測のみを提供するベースライン手法に比べて、直接的で実行可能なガイダンスを提供する本手法は、意思決定者にとって優れた支援となる。
• 結果から、実行可能なアナリティクスは、実世界のプロジェクト環境におけるソフトウェアアナリティクスツールの実用性を顕著に向上させられると示された。