[論文レビュー] Building an OSS Quality Estimation Model with CATREG

Jie Xu, Danny Ho+1 more|arXiv (Cornell University)|Jul 24, 2015

Software Engineering Research参考文献 1被引用数 7

ひとこと要約

本稿では、定性的なプロジェクト指標を最適スケーリングを用いたCATREG（カテゴリカル回帰と最適スケーリング）で定量化し、その後段階的線形回帰を用いて有意な予測因子を同定することで、オープンソースソフトウェア（OSS）における欠険の推定のための統計的モデルを提案する。このアプローチにより、実際のOSSコミュニティデータを用いて検証された実用的でデータ駆動型の欠陥推定モデルが得られ、プロジェクトレベルの欠陏数の予測において精度が向上していることが示された。

ABSTRACT

Open Source Software (OSS) has been a popular form in software development. In this paper, we use statistical approaches to derive OSS quality estimation models. Our objective is to build estimation models for the number of defects with metrics at project levels. First CATREG (Categorical regression with optimal scaling) is used to obtain quantifications of the qualitative variables. Then the independent variables are validated using the stepwise linear regression. The process is repeated to acquire optimal quantifications and final regression formula. This modeling process is performed based on data from the OSS communities and is proved to be practically valuable.

研究の動機と目的

• 定量的モデルを用いてOSSプロジェクトにおける欠陏数を予測する課題に対処すること。
• 従来の回帰分析の限界を克服し、最適スケーリングを用いて定性的なソフトウェア指標を処理すること。
• プロジェクトレベルの特徴に基づいた欠陏密度を推定する、強固でデータ駆動型のモデルを開発すること。
• 実際のOSSコミュニティから得た実証データを用いてモデルを検証し、実用的適用性を確保すること。
• 変数の定量化と回帰最適化を組み合わせた、繰り返し可能な品質推定手法を提供すること。

提案手法

• 定性的なソフトウェア指標（例：開発モデル、ライセンスタイプ）を最適スケールに変換するためにCATREGを適用する。
• 定量化された変数から最も有意な予測因子を選択するために段階的線形回帰を用いる。
• 予測性能を最適化するために、変数の定量化と回帰モデルを繰り返し精錬する。
• オープンソースコミュニティから収集した実際のOSSプロジェクトデータに基づいてモデリングプロセスを構築する。
• 統計的基準を用いて最終モデルを検証し、ソフトウェア品質予測における実用的価値を評価する。
• 最適スケーリングと線形回帰を組み合わせることで、カテゴリカルおよび連続的予測変数を効果的に処理する。

実験結果

リサーチクエスチョン

• RQ1 CATREGは、欠陏予測モデルに使用するための定性的なソフトウェア指標を効果的に定量化できるか？
• RQ2 OSSシステムにおける欠陏数を有意に予測するプロジェクトレベルの指標は何か？
• RQ3 変数の定量化の繰り返し的精錬プロセスは、欠陏推定モデルの精度をどのように向上させるか？
• RQ4 実際のOSSデータに基づく統計的モデルは、実用的関連性をもって欠陏密度をどの程度正確に予測できるか？
• RQ5 最適スケーリングと段階的回帰を組み合わせることで、より強固で解釈可能な品質推定モデルが得られるか？

主な発見

• CATREGは、定性的なプロジェクト属性を最適な定量的スケールに効果的に変換し、モデルの解釈可能性と性能を向上させた。
• 最終モデルは、プロジェクトの規模、貢献頻度、開発モデルといった主要な予測因子を同定した。
• 段階的回帰により、予測精度を維持したまま予測因子の数を削減でき、モデルの効率性が向上した。
• 繰り返しのモデル精錬プロセスにより、欠陏予測に適した安定的かつ最適化された回帰式が得られた。
• 実際のOSSデータに適用した際、モデルは実用的価値を示し、ソフトウェア品質管理への応用が可能であることが確認された。
• 最適スケーリングと回帰の統合により、OSS品質推定における混合タイプの予測変数を効果的に処理する強固なフレームワークが提供された。