[論文レビュー] Towards Software Analytics: Modeling Maintenance Activities

Stanislav Levin, Amiram Yehudai|arXiv (Cornell University)|Mar 9, 2019

Software Engineering Research参考文献 42被引用数 7

ひとこと要約

本論文では、微細なソースコード変更とコミットメッセージ解析を組み合わせることで、ソフトウェア保守活動分類の精度を向上させるクロスプロジェクトコミット分類モデルを提案する。ランダムフォレストと特徴工学を用いた手法は、76%の正解率と63%のカッパ係数を達成し、先行研究よりも20ポイント以上高い結果を示しており、ソフトウェアアナリティクスおよび保守計画の信頼性向上に顕著な寄与を示している。

ABSTRACT

Lehman's Laws teach us that a software system will become progressively less satisfying to its users over time, unless it is continually adapted to meet new needs. Understanding software maintenance can potentially relieve many of the pains currently experienced by practitioners in the industry and assist in reducing uncertainty, improving cost-effectiveness, reliability and more. The research community classifies software maintenance into 3 main activities: Corrective: fault fixing; Perfective: system improvements; Adaptive: new feature introduction. In this work we seek to model software maintenance activities and design a commit classification method capable of yielding a high quality classification model. We performed a comparative analysis of our method and existing techniques based on 11 popular open source projects from which we had manually classified 1151 commits, over 100 commits from each of the studied projects. The model we devised was able to achieve an accuracy of 76% and Kappa of 63% (considered '"Good" in this context) for the test dataset, an improvement of over 20 percentage points, and a relative improvement of ~40% in the context of cross-project classification. We then leverage our commit classification method to demonstrate two applications: (1) a tool aimed at providing an intuitive visualization of software maintenance activities over time, and (2) an in-depth analysis of the relationship between maintenance activities and unit tests.

研究の動機と目的

• 従来の単語頻度ベースの手法を超えて、保守活動（是正的、完全化的、適応的）へのコミット分類の精度と信頼性を向上させること。
• 現実のソフトウェア工学シナリオをよりよく反映するため、先行研究の制限を克服するべくクロスプロジェクト分類に焦点を当てる。
• Cohenのカッパ係数を用いて保守活動分布におけるクラスの不均衡を考慮し、先行研究でしばしば無視される指標を活用する。
• 可視化やテスト欠陥検出といった実用的応用を支援するため、分類モデルの実装を進める。これによりソフトウェアアナリティクスおよび保守計画が支援される。
• 多様なオープンソースプロジェクトにわたり、微細なソースコード変更タイプが保守活動タイプを区別する有効な特徴であることを示す。

提案手法

• 11の代表的なオープンソースプロジェクトから1,151件のコミットを収集・手動分類し、各プロジェクトに約100件のコミットを含むバランスの取れたベンチマークデータセットを構築した。
• コミット差分の静的解析を用いて、微細なソースコード変更タイプ（例：追加、削除、変更）を抽出し、構造的特徴として扱った。
• テキストクリーニング、正規化、TF-IDFベクトル化を実施してコミットメッセージを前処理し、言語的特徴を抽出した。
• 構造的特徴（コード変更）と言語的特徴（コミットメッセージ）を統合したハイブリッドモデルを分類に用いた。
• 85%のデータで繰り返し5分割交差検証を実施し、複数の分類器（ランダムフォレスト（RF）、勾配ブースティングマシン（GBM）、J48）を訓練・評価した。残りの15%をテストに使用した。
• 正解率とカッパ係数を基準に最良のモデル（RFベースの複合モデル）を選定し、未知のクロスプロジェクトテストデータ上でその性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 微細なソースコード変更は、ソフトウェアコミットにおける保守活動分類のための高品質なモデル構築に有効に利用できるか？
• RQ2 RQ2: ソースコード変更とコミットメッセージ特徴を組み合わせたモデルは、従来の単語頻度ベースのモデルを上回る性能を示すか？
• RQ3 RQ3: 提案された分類手法は、保守活動のトレンド可視化やテスト欠陥プロジェクトの検出といったソフトウェアアナリティクスにおける実用的応用を可能にするか？

主な発見

• 提案された複合モデルは、テストセットで76%の正解率と63%のカッパ係数を達成し、先行のクロスプロジェクト分類手法と比較して正解率で20ポイント以上、相対的に約40%の改善を示した。
• ランダムフォレスト（RF）アルゴリズムは、GBMおよびJ48を上回り、このタスクにおけるロバストネスを示した。
• テキストクリーニングおよび正規化により、ベースラインの単語頻度モデルの性能が向上し、クロスプロジェクトデータで68–69%の正解率と51–53%のカッパ係数を達成した。
• 最も優れた性能を示したモデル（複合モデル）は、テストセットで76%の正解率と63%のカッパ係数を達成し、Altman（1990）の基準では「良好」と分類される。
• 本研究では、ソースコード変更タイプが保守活動タイプの統計的に有意な予測因子であることが確認され、予測モデリングへの応用が有効であることが裏付けられた。
• ソフトウェア保守活動エクスプローラー（Software Maintenance Activity Explorer）ツールは、時間的経過に伴う保守活動トレンドを効果的に可視化し、プロジェクトおよび開発者間での均質な保守プロファイルの特定を可能にした。