[論文レビュー] When SIMPLE is better than complex: A case study on deep learning for predicting Bugzilla issue close time.

Rahul Yedida, Xueqi Yang+1 more|arXiv (Cornell University)|Jan 15, 2021

Software Engineering Research参考文献 46被引用数 5

ひとこと要約

本論文は、バグレポートのクローズ時刻を予測するための、シンプルで高速な順方向型ニューラルネットワーク（SIMPLE）を提案する。単純さにもかかわらず、LSTMのような複雑なディープラーニングモデルを上回り、2,700倍も速く、より高い正確性を達成した。これは、ソフトウェア工学の予測タスクにおいて、軽量モデルのハイパーパramータ最適化が、洗練されたが遅いアルゴリズムを凌駕できることを示している。

ABSTRACT

Is deep learning over-hyped? Where are the case studies that compare state-of-the-art deep learners with simpler options? In response to this gap in the literature, this paper offers one case study on using deep learning to predict issue close time in Bugzilla. We report here that a SIMPLE extension to a decades-old feedforward neural network works better than the more recent, and more elaborate, long-short term memory deep learning (which are currently popular in the SE literature). SIMPLE is a combination of a fast feedforward network and a hyper-parameter optimizer. SIMPLE runs in 3 seconds while the newer algorithms take 6 hours to terminate. Since it runs so fast, it is more amenable to being tuned by our optimizer. This paper reports results seen after running SIMPLE on issue close time data from 45,364 issues raised in Chromium, Eclipse, and Firefox projects from January 2010 to March 2016. In our experiments, this SIMPLEr tuning approach achieves significantly better predictors for issue close time than the more complex deep learner. These better and SIMPLEr results can be generated 2,700 times faster than if using a state-of-the-art deep learner. From this result, we make two conclusions. Firstly, for predicting issue close time, we would recommend SIMPLE over complex deep learners. Secondly, before analysts try very sophisticated (but very slow) algorithms, they might achieve better results, much sooner, by applying hyper-parameter optimization to simple (but very fast) algorithms.

研究の動機と目的

• ソフトウェア工学の予測タスクにおいて、ディープラーニングモデルと単純な代替手法を比較する実証的ケーススタディの不足に対処すること。
• 単純な順方向型ニューラルネットワークのハイパーパramータ最適化が、バグレポートのクローズ時刻予測において、複雑なディープラーニングモデルを上回ることを調査すること。
• 実世界のソフトウェアプロジェクトデータにおける、モデルの複雑さ、学習速度、予測性能のトレードオフを評価すること。
• より複雑なディープラーニングモデルが、バグトラッキング予測において本質的に優れているという仮定に疑問を呈すること。

提案手法

• 高速で計算コストが低いという点から、ベースモデルとして単純な順方向型ニューラルネットワークが選択された。
• 学習率、ネットワークの深さ、その他の重要なパラメータを最適化するため、高速でカスタム開発された最適化アルゴリズムを用いてハイパーパラメータ最適化が適用された。
• 本手法は、Chromium、Eclipse、Firefoxプロジェクトの45,364件のバグレポートデータセット（2010年1月～2016年3月）を用いて学習および評価された。
• 最適化されたSIMPLEモデルの性能は、最先端のLSTMベースのディープラーニングモデルと比較された。
• 学習時間の測定と比較が行われた：SIMPLEは3秒で終了したのに対し、LSTMモデルは6時間かかった。
• 予測精度の評価には、標準的な回帰指標が用いられた。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータ最適化を施した単純な順方向型ニューラルネットワークは、Bugzillaにおけるバグクローズ時刻予測において、複雑なディープラーニングモデルを上回るか？
• RQ2 この文脈において、単純なモデルの学習速度は、複雑なディープラーニングモデルと比べてどうなるか？
• RQ3 適切にチューニングされた高速で軽量なモデルは、より洗練されたLSTMベースのモデルを上回る予測性能を達成できるか？
• RQ4 実世界のソフトウェア工学データセットにおいて、ハイパーパラメータチューニングを施した単純モデルと、複雑なディープラーニングモデルとの間に顕著な性能差があるか？

主な発見

• SIMPLEモデルは、より複雑なLSTMベースのディープラーニングモデルよりも、バグクローズ時刻の予測性能が顕著に優れていた。
• SIMPLEモデルはわずか3秒で学習が完了したのに対し、LSTMモデルは6時間かかったため、2,700倍の高速化が達成された。
• 単純モデルのハイパーパラメータ最適化により、チューニングなしの複雑なモデルの学習を上回る結果が得られた。
• 本研究は、適切にチューニングされた単純なモデルが、ソフトウェア工学の予測タスクにおいて、複雑なディープラーニングモデルを上回り得ることを示している。
• 結果から、研究者や実務家は、遅く複雑なディープラーニングアーキテクチャを採用する前に、高速で単純なモデルのハイパーパラメータ最適化を優先すべきであると示唆される。