[論文レビュー] Hyperparameter Optimization for Effort Estimation

Tianpei Xia, Rahul Krishna+4 more|arXiv (Cornell University)|Apr 28, 2018

Software Engineering Research参考文献 73被引用数 33

ひとこと要約

本論文は、回帰木（CART）と微分進化やFLASHのような高速最適化手法を組み合わせた、ソフトウェア作業量推定のためのハイパーパramータ最適化フレームワークOIL（最適化された帰納的学習）を提案する。この組み合わせにより、数分で優れた推定精度が達成され、デフォルト設定や遅い手法を上回る。ハイパーパramータチューニングが実用的かつ効果的であることが示された。

ABSTRACT

Software analytics has been widely used in software engineering for many tasks such as generating effort estimates for software projects. One of the "black arts" of software analytics is tuning the parameters controlling a data mining algorithm. Such hyperparameter optimization has been widely studied in other software analytics domains (e.g. defect prediction and text mining) but, so far, has not been extensively explored for effort estimation. Accordingly, this paper seeks simple, automatic, effective and fast methods for finding good tunings for automatic software effort estimation. We introduce a hyperparameter optimization architecture called OIL (Optimized Inductive Learning). We test OIL on a wide range of hyperparameter optimizers using data from 945 software projects. After tuning, large improvements in effort estimation accuracy were observed (measured in terms of standardized accuracy). From those results, we recommend using regression trees (CART) tuned by different evolution combine with default analogy-based estimator. This particular combination of learner and optimizers often achieves in a few hours what other optimizers need days to weeks of CPU time to accomplish. An important part of this analysis is its reproducibility and refutability. All our scripts and data are on-line. It is hoped that this paper will prompt and enable much more research on better methods to tune software effort estimators.

研究の動機と目的

• プロジェクトの予算編成と成功に直接影響を与える、正確なソフトウェア作業量推定のニーズに対処すること。
• ハイパーパramータチューニングがデフォルト設定を上回る推定精度をもたらすかどうかを調査すること。
• 高速かつ自動的なハイパーパramータ最適化が、作業量推定において実現可能で効果的かどうかを評価すること。
• 実世界での導入に適した、実用的で効率的かつ高性能な学習者と最適化手法の組み合わせを特定すること。

提案手法

• OILフレームワークは、945のソフトウェアプロジェクトを対象に、幅広い最適化手法を用いて作業量推定のハイパーパramータチューニングを自動化する。
• 回帰木（CART）に注目し、微分進化やFLASHなどの最先端の最適化手法を用いて、複数の機械学習学習者を評価する。
• 6,000以上の組み合わせをカバーする性能駆動型の探索戦略を用いて、最適なハイパーパramータを同定する。
• 標準化された精度と相対誤差を主な指標として用い、ATLM や LP4EE といった代表的な手法とベンチマーク比較を行う。
• データ特徴に関する仮定（例：COCOMOの制約なし）を回避することで、より広範な適用可能性を実現する。
• パイプライン全体をオープンソース化することで、再現性と将来のベンチマークの支援を促進する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 『即戦力』のデフォルトハイパーパramータは、正確な作業量推定に十分か。それともチューニングにより著しく性能が向上するか。
• RQ2 RQ2: 一度最適化したハイパーパramータを複数のデータセットに再利用可能か。それとも設定はデータセット固有か。
• RQ3 RQ3: 速やかなハイパーパramータ最適化手法は、遅い手法と同等の性能を達成できるか。これにより、産業用途におけるチューニングが実用的になるか。
• RQ4 RQ4: どの特定の学習者と最適化手法の組み合わせが、最小限の時間で最高の性能を発揮するか。

主な発見

• チューニング済みの学習者では、デフォルトのままの設定よりも著しく優れた性能を示し、『即戦力』の設定は作業量推定において廃止すべきであることが示された。
• 普遍的なデフォルトハイパーパramータ設定は存在しない。最適な設定はデータセットごとに大きく異なるため、新しいデータに対しては再チューニングが不可欠である。
• 微分進化やFLASHのような高速最適化手法は、遅い手法と同等の性能を達成しており、ハイパーパramータチューニングが高速かつ効果的であることが証明された。
• CARTに微分進化またはFLASHを組み合わせることで、数分で最先端の精度が達成され、数時間から数日を要する手法を上回った。
• 本研究では、新規データセットに対してシンプルで高速かつ効果的なベースラインを特定した：CARTにFLASHまたは微分進化を適用すること。
• 高速最適化手法（例：FLASH）が遅い最適化手法自体を効率的にチューニングできることから、ハイパーハイパーパラメータ最適化が実現可能である可能性が示唆された。