[論文レビュー] Understanding the Automated Parameter Optimization on Transfer Learning for CPDP: An Empirical Study

Ke Li, Zilin Xiang+3 more|arXiv (Cornell University)|Feb 8, 2020

Software Engineering Research参考文献 103被引用数 10

ひとこと要約

本論文は、クロスプロジェクト欠陥予測（CPDP）における転移学習の自動的パラメータ最適化に関する最初の実験的研究を提示する。20の実世界のプロジェクトを対象に、62種類のCPDP技術を評価した。自動最適化は77%の技術で性能を顕著に向上させ、コストも管理可能であることが判明した。また、分類モデルの最適化よりも、転移学習のパラメータを最適化することでより大きな向上が得られることも明らかになった。

ABSTRACT

Data-driven defect prediction has become increasingly important in software engineering process. Since it is not uncommon that data from a software project is insufficient for training a reliable defect prediction model, transfer learning that borrows data/knowledge from other projects to facilitate the model building at the current project, namely cross-project defect prediction (CPDP), is naturally plausible. Most CPDP techniques involve two major steps, i.e., transfer learning and classification, each of which has at least one parameter to be tuned to achieve their optimal performance. This practice fits well with the purpose of automated parameter optimization. However, there is a lack of thorough understanding about what are the impacts of automated parameter optimization on various CPDP techniques. In this paper, we present the first empirical study that looks into such impacts on 62 CPDP techniques, 13 of which are chosen from the existing CPDP literature while the other 49 ones have not been explored before. We build defect prediction models over 20 real-world software projects that are of different scales and characteristics. Our findings demonstrate that: (1) Automated parameter optimization substantially improves the defect prediction performance of 77\% CPDP techniques with a manageable computational cost. Thus more efforts on this aspect are required in future CPDP studies. (2) Transfer learning is of ultimate importance in CPDP. Given a tight computational budget, it is more cost-effective to focus on optimizing the parameter configuration of transfer learning algorithms (3) The research on CPDP is far from mature where it is "not difficult" to find a better alternative by making a combination of existing transfer learning and classification techniques. This finding provides important insights about the future design of CPDP techniques.

研究の動機と目的

• 転移学習と分類を組み合わせたCPDP技術における自動的パラメータ最適化の影響を調査すること。
• 転移学習と分類の両方のコンponentから生じるパrameter空間の拡大を考慮すると、ハイパーパrameterチューニングがCPDP性能に与える影響について、体系的な理解が不足していることに対処すること。
• 計算制約下で、どのコンponent（転移学習対比分類）が最適化によって最も利益を得るかを特定することで、今後のCPDP研究に実用的インサイトを提供すること。
• 既存のCPDP技術が十分に成熟しているのか、それとも、既存の転移学習と分類アルゴリズムを新しい組み合わせで組み合わせることで、より良い性能が達成可能なのかを検討すること。

提案手法

• 既存の文献から13種類のCPDP技術と、新たに構築した49種類の組み合わせ（転移学習と分類アルゴリズムの組み合わせ）を含む、合計62種類のCPDP技術を評価した。
• 一般化可能性を確保するため、スケールや特徴が多様な20の実世界のソフトウェアプロジェクトを対象に実験を実施した。
• グリッドサーチや類似手法を用いて、転移学習段階と分類段階の両方のハイパーパrameterを自動的に最適化した。
• F1スコア、AUCなどの標準的な欠陥予測指標を用いて性能を測定し、Wilcoxon符号順位検定などの統計的検定を実施して有意性を評価した。
• 効果量分析（Cohenのd）を用いて、性能向上の実用的有意性を評価した。
• 計算予算を固定した条件下で、転移学習パラメータと分類パラメータの最適化がもたらす影響を比較した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 自動的パラメータ最適化は、CPDP技術の予測精度向上にどの程度の利益をもたらすか？
• RQ2 RQ2: 計算リソースが限られた条件下で、最適化を施した場合、転移学習と分類のどちらのコンponentがより大きな性能向上をもたらすか？
• RQ3 RQ3: 現在の最先端CPDP技術は十分に成熟しているのか、それとも、既存の転移学習と分類技術を新しい組み合わせで組み合わせることで、より良い性能が達成可能なのか？

主な発見

• 評価された62種類のCPDP技術のうち77%が、Cohenのルールに従って大きな効果量を示す自動的パラメータ最適化により、性能が顕著に向上した。
• 計算リソースが限られた状況下でも、転移学習パラメータの最適化の方が分類パラメータの最適化よりも、より大きな性能向上をもたらし、コストパフォーマンスに優れている。
• ほとんどのケースで、統計的に最も優れた性能を示したCPDP技術は、新たに構築した49種類の組み合わせのうちの一つであった。これは、現在の最先端技術がまだ成熟していないことを示している。
• 自動的最適化による性能向上は、統計的に有意であるだけでなく、実用的にも意味のあるものであり、特に転移学習コンponentに適用した場合に顕著である。
• 本研究は、デフォルトまたは即時利用可能なパラメータ設定が、しばしば最適でない性能をもたらすことを確認した。これは、CPDP研究における再現性と信頼性を損なう要因となっている。
• 結果から、今後のCPDP研究は、転移学習パラメータの知的最適化を優先し、より広範なアルゴリズムの組み合わせを検討すべきであると示唆している。