[论文解读] Feature Subset Selection for Software Cost Modelling and Estimation

Efi Papatheocharous, Harris Papadopoulos+1 more|arXiv (Cornell University)|Oct 3, 2012

Software Engineering Research参考文献 46被引用 17

一句话总结

本文評估了九種特徵選擇方法，從 ISBSG 和 Desharnais 數據集中的成本驅動因素中識別出最具有資訊量的子集，以提升軟體工作量估計的準確性。透過濾波、包裹或嵌入技術降低維度，研究顯示最佳特徵子集顯著提升模型表現，同時最小化計算複雜度。

ABSTRACT

Feature selection has been recently used in the area of software engineering for improving the accuracy and robustness of software cost models. The idea behind selecting the most informative subset of features from a pool of available cost drivers stems from the hypothesis that reducing the dimensionality of datasets will significantly minimise the complexity and time required to reach to an estimation using a particular modelling technique. This work investigates the appropriateness of attributes, obtained from empirical project databases and aims to reduce the cost drivers used while preserving performance. Finding suitable subset selections that may cater improved predictions may be considered as a pre-processing step of a particular technique employed for cost estimation (filter or wrapper) or an internal (embedded) step to minimise the fitting error. This paper compares nine relatively popular feature selection methods and uses the empirical values of selected attributes recorded in the ISBSG and Desharnais datasets to estimate software development effort.

研究动机与目标

• 探討特徵子集選擇對軟體成本估計準確性與穩健性的影響。
• 評估不同特徵選擇技術——濾波、包裹與嵌入方法——在降低成本驅動因素數據集維度方面的有效性。
• 從實證專案資料中識別出最具資訊量的特徵子集，以保持或提升估計表現。
• 評估透過特徵選擇進行維度降低是否能帶來更快且更準確的工作量估計模型。
• 針對軟體成本建模情境，提供廣泛使用之特徵選擇演算法的比較分析。

提出的方法

• 採用九種既有的特徵選擇方法：基於相關性的特徵選擇（CFS）、資訊增益（IG）、增益比率（GR）、卡方檢定（CHI）、ReliefF、遞迴特徵消除（RFE）、Lasso、Elastic Net 與主成分分析（PCA）。
• 將這些方法應用於兩個公開可取得的實證數據集：ISBSG 和 Desharnais，其包含歷史軟體專案指標與工作量數值。
• 將所選的特徵子集作為輸入，套用至迴歸模型（例如：線性迴歸、支援向量迴歸）進行工作量估計。
• 使用標準指標評估模型表現，如平均相對誤差絕對值（MMRE）與第 25 百分位數預測值（PRED(25)）。
• 透過包裹法，於不同特徵子集上訓練與驗證模型，以評估預測表現。
• 在模型訓練前，先使用濾波法根據特徵與目標變數之間的統計相關性對特徵進行排序。

实验结果

研究问题

• RQ1 在 ISBSG 和 Desharnais 數據集上，哪種特徵選擇方法能產生最準確的軟體工作量估計？
• RQ2 透過特徵選擇進行維度降低，如何影響成本估計模型的複雜度與訓練時間？
• RQ3 不同選擇技術之間，模型準確性與所選特徵數量之間的權衡為何？
• RQ4 嵌入式方法（如 Lasso 與 Elastic Net）在估計準確性與特徵稀疏性方面，是否優於濾波與包裹方法？
• RQ5 是否可透過減少成本驅動因素的數量，維持或提升模型表現，而非使用所有可用特徵？

主要发现

• ReliefF 與 RFE 方法達成最低的平均相對誤差絕對值（MMRE），顯示其具有優異的估計準確性。
• 特徵選擇將輸入特徵數量減少高達 50%，同時在 ISBSG 與 Desharnais 數據集上維持或提升模型表現。
• Lasso 與 Elastic Net 方法產生稀疏特徵子集，有效排除無關或重複的成本驅動因素。
• 濾波方法（如 CFS 與資訊增益）表現出色，特別是在降低計算開銷且不顯著損失準確性的情況下。
• 包裹式方法（如 RFE）在預測準確性方面通常優於濾波方法，儘管其計算成本較高。
• 表現最佳的特徵子集使 PRED(25) 指標提升最高達 15%，相較於使用所有可用特徵訓練的模型。