[論文レビュー] The Impact of Correlated Metrics on Defect Models

Jirayus Jiarpakdee, Chakkrit Tantithamthavorn+1 more|arXiv (Cornell University)|Jan 31, 2018

Software Engineering Research参考文献 81被引用数 21

ひとこと要約

本研究は、相関のあるソフトウェアメトリクスが欠陥モデルの解釈に与える影響を調査し、相関メトリクスが9種類の解釈手法においてメトリクス順位付けを歪めることを明らかにした。相関メトリクスを除去することで順位付けの一貫性が著しく向上するが、ANOVA Type-Iを除き、モデルのパフォーマンスにほとんど影響を与えない。この結果、研究者は相関メトリクスを排除し、欠陥モデリング研究においてANOVA Type-Iを避けるべきであると提言する。

ABSTRACT

Defect models are analytical models that are used to build empirical theories that are related to software quality. Prior studies often derive knowledge from such models using interpretation techniques, such as ANOVA Type-I. Recent work raises concerns that prior studies rarely remove correlated metrics when constructing such models. Such correlated metrics may impact the interpretation of models. Yet, the impact of correlated metrics in such models has not been investigated. In this paper, we set out to investigate the impact of correlated metrics, and the benefits and costs of removing correlated metrics on defect models. Through a case study of 15 publicly-available defect datasets, we find that (1) correlated metrics impact the ranking of the highest ranked metric for all of the 9 studied model interpretation techniques. On the other hand, removing correlated metrics (2) improves the consistency of the highest ranked metric regardless of how a model is specified for all of the studied interpretation techniques (except for ANOVA Type-I); and (3) negligibly impacts the performance and stability of defect models. Thus, researchers must (1) mitigate (e.g., remove) correlated metrics prior to constructing a defect model; and (2) avoid using ANOVA Type-I even if all correlated metrics are removed.

研究の動機と目的

• ソフトウェア工学における欠陥モデルの解釈に、相関のあるソフトウェアメトリクスが与える影響を調査すること。
• メトリクスの相関を除去することによる、モデルの一貫性、パフォーマンス、安定性への利点とコストを評価すること。
• 相関メトリクスが存在する場合、広く用いられている解釈手法（特にANOVA Type-I）の信頼性を評価すること。
• 研究者が実証的ソフトウェア品質研究の妥当性を向上させるための実務的ガイドラインを提供すること。

提案手法

• 15の公開済み欠陥データセットにおいて、相関メトリクスを検出および除去するために、変数クラスタリング（VarClus）と分散インflーション係数（VIF）を適用した。
• 相関メトリクスを除去した（緩和済み）および除去しない（非緩和済み）データセットを用いて、ロジスティック回帰およびランダムフォレストモデルを構築した。
• 9種類のモデル解釈手法を用いた：ANOVA Type-I、ANOVA Type-II（Wald、尤度比、F、カイ二乗）、スケーリングあり/なしのジニ重要度およびパーミュテーション重要度。
• AUC、F-measure、マチューの相関係数（MCC）を用いてモデルパフォーマンスを比較し、データセット間での安定性を評価した。
• オープンソースおよびプロプライエタリシステムをカバーする15の欠陥データセットを用いたケーススタディを通じて、一般化可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 相関メトリクスは、さまざまな解釈手法において欠陥モデルのメトリクス順位付けにどのように影響を与えるか？
• RQ2 RQ2: 相関メトリクスを除去することで、メトリクス順位付けの一貫性にどのような利点が得られるか？
• RQ3 RQ3: 相関メトリクスを除去することで、欠陥モデルのパフォーマンスおよび安定性にどのような影響があるか？
• RQ4 RQ4: 相関メトリクスが存在するか、または除去された状況において、異なるモデル解釈手法（例：ANOVA Type-I と Type-II）はどのように振る舞うか？

主な発見

• 相関メトリクスは、ANOVA Type-I、Type-II、ジニ、パーミュテーション重要度を含むすべての9種類の解釈手法において、最高順位メトリクスの順位付けを顕著に歪める。
• 相関メトリクスを除去することで、すべての解釈手法における最高順位メトリクスの順位付けの一貫性が向上するが、ANOVA Type-Iを除き、順位付けの順序に敏感なままである。
• AUC、F-measure、MCCで測定される欠陥モデルのパフォーマンスは、相関メトリクスを除去してもほとんど変化せず、モデルの安定性へのコストは最小限である。
• 相関メトリクスを除去することで、メトリクス順位付けの一貫性が顕著に向上し、ソフトウェア品質研究におけるより信頼性が高く再現可能な実証的知見が得られると示唆される。
• ANOVA Type-Iは、相関メトリクスを除去しても根本的に信頼できないことが判明し、より頑健な代替手法に比べて避けるべきである。