[論文レビュー] AutoSpearman: Automatically Mitigating Correlated Metrics for Interpreting Defect Models

Jirayus Jiarpakdee, Chakkrit Tantithamthavorn+1 more|arXiv (Cornell University)|Jun 26, 2018

Industrial Vision Systems and Defect Detection被引用数 4

ひとこと要約

本稿では、スピアマン順位相関と分散インflーション係数（VIF）分析を用いて、欠陥予測モデルにおける相関するソフトウェアメトリクスを軽減する自動化手法AutoSpearmanを提案する。一般的に用いられる特徴選択手法では、一貫性がなく相関するメトリクスのサブセットが得られることが示された。一方、AutoSpearmanは、AUC、F-measure、MCCで1〜2%のパフォーマンス低下を伴いながらも、69%の中央値メトリクス一貫性を達成し、最高のサブセット一貫性を実現した。

ABSTRACT

The interpretation of defect models heavily relies on software metrics that are used to construct them. However, such software metrics are often correlated to defect models. Prior work often uses feature selection techniques to remove correlated metrics in order to improve the performance of defect models. Yet, the interpretation of defect models may be misleading if feature selection techniques produce subsets of inconsistent and correlated metrics. In this paper, we investigate the consistency and correlation of the subsets of metrics that are produced by nine commonly-used feature selection techniques. Through a case study of 13 publicly-available defect datasets, we find that feature selection techniques produce inconsistent subsets of metrics and do not mitigate correlated metrics, suggesting that feature selection techniques should not be used and correlation analyses must be applied when the goal is model interpretation. Since correlation analyses often involve manual selection of metrics by a domain expert, we introduce AutoSpearman, an automated metric selection approach based on correlation analyses. Our evaluation indicates that AutoSpearman yields the highest consistency of subsets of metrics among training samples and mitigates correlated metrics, while impacting model performance by 1-2%pts. Thus, to automatically mitigate correlated metrics when interpreting defect models, we recommend future studies use AutoSpearman in lieu of commonly-used feature selection techniques.

研究の動機と目的

• 欠陥予測において、一般的に用いられる特徴選択手法が一貫性があり、相関のないメトリクスサブセットを生成するかを調査すること。
• 特徴選択がメトリクスの相関およびモデル解釈性の信頼性に与える影響を評価すること。
• 解釈可能な欠陥モデルのための一貫したメトリクス選択を保証する、手動の相関分析の自動化された代替手法を開発すること。
• AutoSpearmanのパフォーマンスおよび一貫性を、欠陥予測分野で広く用いられる9つの特徴選択手法と比較すること。

提案手法

• AutoSpearmanは2段階の相関軽減プロセスを適用する：まず、すべてのメトリクスペア間のスピアマン順位相関係数を計算する。
• 次に、多重共線性を示すメトリクスを特定・削除するために分散インフレーション係数（VIF）分析を用いる。
• VIF値が最も高いメトリクスから順次削除し、残りのすべてのメトリクスがVIF < 5を満たすまで繰り返す。
• 13の公開欠陥データセットのトレーニングサンプルにこの手法を適用し、異なるランダムスプリット間でも一貫したメトリクス選択を保証する。
• 一貫性は、複数のトレーニングサンプルにわたるメトリクスの中央値選択割合として測定される。
• パフォーマンスはAUC、F-measure、およびマチューの相関係数（MCC）を用いて評価され、AutoSpearmanは9つの特徴選択手法と比較された。

実験結果

リサーチクエスチョン

• RQ1 RQ1：欠陥データセットにおいて、特徴選択手法は異なるトレーニングサンプル間で同一のメトリクスサブセットを一貫して生成するか？
• RQ2 RQ2：特徴選択手法は、欠陥データセットにおける相関メトリクスを効果的に軽減するか？
• RQ3 RQ3：AutoSpearmanは、異なるトレーニングサンプル間でどの程度のメトリクスサブセットの一貫性を示すか？
• RQ4 RQ4：特徴選択手法と比較して、AutoSpearmanは欠陥予測モデルのパフォーマンスにどのような影響を与えるか？

主な発見

• 特徴選択手法では、同じデータセットからの異なるトレーニングサンプル間で、6〜41%のメトリクスしか一貫して選択されない。
• 特徴選択手法が生成するメトリクスサブセットのうち、最大100%が相関を示しており、多重共線性の有効な軽減がなされていないことが示された。
• AutoSpearmanは、評価されたすべての手法の中で最高の一貫性を達成し、トレーニングサンプル間で中央値69%のメトリクスが一貫して選択された。
• AutoSpearmanは、AUC、F-measure、MCCで1〜2ポイントのパフォーマンス低下を伴いながらも、メトリクスの相関を効果的に低減した。
• 本研究では、信頼性のあるモデル解釈性のためには手動の相関分析が不可欠であるが、その自動化によるAutoSpearmanは再現性と一貫性の向上を実現した。
• AutoSpearmanは、全9つの特徴選択手法と比較して、メトリクスサブセットの一貫性が最も高く、解釈可能な欠陥モデリングのための推奨手法である。