[論文レビュー] BiLO-CPDP: Bi-Level Programming for Automated Model Discovery in Cross-Project Defect Prediction

Ke Li, Zilin Xiang+2 more|arXiv (Cornell University)|Aug 31, 2020

Software Engineering Research参考文献 86被引用数 4

ひとこと要約

本稿では、自動化されたクロスプロジェクト欠陥予測（CPDP）モデル発見のための、初めての二段階プログラミングフレームワークであるBiLO-CPDPを提案する。上位レベルと下位レベルの最適化を段階的に行い、分類器と転送学習手法の選択およびそれらのハイパーパrameterを同時に最適化することで、21の既存CPDP手法および20のプロジェクトにおけるAuto-Sklearnを上回る優れた性能を達成する。特に、モデル結合探索のための上位レベルにより多くの予算を割り当てた場合に顕著な向上が見られる。

ABSTRACT

Cross-Project Defect Prediction (CPDP), which borrows data from similar projects by combining a transfer learner with a classifier, have emerged as a promising way to predict software defects when the available data about the target project is insufficient. How-ever, developing such a model is challenge because it is difficult to determine the right combination of transfer learner and classifier along with their optimal hyper-parameter settings. In this paper, we propose a tool, dubbedBiLO-CPDP, which is the first of its kind to formulate the automated CPDP model discovery from the perspective of bi-level programming. In particular, the bi-level programming proceeds the optimization with two nested levels in a hierarchical manner. Specifically, the upper-level optimization routine is designed to search for the right combination of transfer learner and classifier while the nested lower-level optimization routine aims to optimize the corresponding hyper-parameter settings.To evaluateBiLO-CPDP, we conduct experiments on 20 projects to compare it with a total of 21 existing CPDP techniques, along with its single-level optimization variant and Auto-Sklearn, a state-of-the-art automated machine learning tool. Empirical results show that BiLO-CPDP champions better prediction performance than all other 21 existing CPDP techniques on 70% of the projects, while be-ing overwhelmingly superior to Auto-Sklearn and its single-level optimization variant on all cases. Furthermore, the unique bi-level formalization inBiLO-CPDP also permits to allocate more budget to the upper-level, which significantly boosts the performance.

研究の動機と目的

• クロスプロジェクト欠陥予測（CPDP）における、転送学習手法と分類器の最適な組み合わせおよびそれらのハイパーパrameterの選択という課題に取り組むこと。これは、先行研究ではしばしば直感的・直感的に行われている。
• 分類器のハイパーパrameterにのみ焦点を当てたり、固定された組み合わせを用いることで、性能が最適でない既存のCPDP技術の限界を克服すること。
• 統一された最適化フレームワークを通じて、自動的かつ体系的な高パフォーマンスCPDPモデルの発見を可能にすること。
• CPDPにおける計算予算の割り当てが、モデルアーキテクチャ選択（上位レベル）とハイパーパramータチューニング（下位レベル）の間に与える影響を調査すること。
• 分類器と転送学習手法の組み合わせを最適化することが、単にハイパーパラメータチューニングを行うのよりも重要であることを示すこと。

提案手法

• CPDPモデル発見を二段階最適化問題として定式化する。上位レベルでは、最適な転送学習手法と分類器の組み合わせを選択し、下位レベルではそれらのハイパーパラメータを最適化する。
• 下位レベル最適化が上位レベル内にネストされた階層的最適化構造を採用し、各候補モデルの組み合わせに対して、そのハイパーパラメータが最適化されることを保証する。
• 設定可能な転送学習手法および分類器のパフォーマンスパフォルテを入力として用い、多様なモデルアーキテクチャの体系的探索を可能にする。
• 柔軟な予算割り当て戦略を採用し、上位レベルにより多くの計算リソースを割り当てることで、広範なモデル組み合わせの探索を可能にする。
• 標準的な機械学習評価指標（AUC）および統計的検定（Scott-Knott、Wilcoxon符号順位検定、効果量）を用いて、性能比較の信頼性を確保する。
• 既存のAutoML原則を統合するが、CPDPにおけるモデルアーキテクチャとハイパーパラメータ最適化の相互作用を明示的にモデル化することで、それらを拡張する。

実験結果

リサーチクエスチョン

• RQ1 二段階プログラミングは、モデルアーキテクチャとハイパーパラメータの両方を同時に最適化することで、高パフォーマンスCPDPモデルの自動発見を効果的に可能にするか？
• RQ2 手作業で組み合わせを設計した21の最先端CPDP手法および報告済みハイパーパラメータを用いる手法と比較して、BiLO-CPDPの性能はどの程度か？
• RQ3 先進的なAutoMLツールであるAuto-Sklearnと比較して、BiLO-CPDPはCPDPタスクにおいて優れているか？
• RQ4 上位レベル最適化（モデル結合探索）に計算予算を多く割り当てる場合と、下位レベル最適化（ハイパーパラメータチューニング）に割り当てる場合の性能差は何か？
• RQ5 CPDPにおいて、最適な転送学習手法と分類器の組み合わせの選択が、単にハイパーパラメータチューニングを行うのよりも重要であるか？

主な発見

• BiLO-CPDPは、評価された20プロジェクトの70％で、21の既存CPDP手法を上回り、自動モデル発見における優位性を示している。
• BiLO-CPDPは、20のすべてのプロジェクトでAuto-Sklearnおよびその単一レベル最適化バージョンを顕著に上回り、二段階構造の利点を裏付けている。
• 上位レベル最適化（モデル結合探索）に計算予算を多く割り当てることで、顕著な性能向上が得られ、これはハイパーパラメータチューニングのみに焦点を当てるよりも、モデル結合探索がより大きな影響を持つことを確認している。
• 実証的調査では、最適な転送学習手法と分類器の組み合わせが、ハイパーパラメータ設定よりも決定的であることが示され、両者の共同最適化の必要性が裏付けられた。
• 二段階プログラミングの導入により、より柔軟で効果的な予算割り当て戦略が可能となり、必要に応じてモデルアーキテクチャの探索を優先できる。
• 統計的検定により、BiLO-CPDPの性能向上がランダムなばらつきによるものではないことが確認され、大きな効果量と高い信頼性が得られた。