[논문 리뷰] When SIMPLE is better than complex: A case study on deep learning for predicting Bugzilla issue close time.

Rahul Yedida, Xueqi Yang외 1명|arXiv (Cornell University)|2021. 01. 15.

Software Engineering Research참고 문헌 46인용 수 5

한 줄 요약

이 논문은 버그지라 이슈 종료 시간을 예측하기 위해 초기화된 하이퍼파ram터 최적화를 통합한 단순하고 빠른 순전파 신경망(SIMPLE)을 제안한다. 단순함에도 불구하고, SIMPLE는 LSTMs와 같은 복잡한 딥러닝 모델을 능가하며, 정확도는 더 높고, 2,700배 빠르게 성능을 내는데, 이는 소프트웨어 공학 예측 과제에서 경량 모델의 하이퍼파ram터 최적화가 고도로 복잡하고 느린 알고리즘을 능가할 수 있음을 보여준다.

ABSTRACT

Is deep learning over-hyped? Where are the case studies that compare state-of-the-art deep learners with simpler options? In response to this gap in the literature, this paper offers one case study on using deep learning to predict issue close time in Bugzilla. We report here that a SIMPLE extension to a decades-old feedforward neural network works better than the more recent, and more elaborate, long-short term memory deep learning (which are currently popular in the SE literature). SIMPLE is a combination of a fast feedforward network and a hyper-parameter optimizer. SIMPLE runs in 3 seconds while the newer algorithms take 6 hours to terminate. Since it runs so fast, it is more amenable to being tuned by our optimizer. This paper reports results seen after running SIMPLE on issue close time data from 45,364 issues raised in Chromium, Eclipse, and Firefox projects from January 2010 to March 2016. In our experiments, this SIMPLEr tuning approach achieves significantly better predictors for issue close time than the more complex deep learner. These better and SIMPLEr results can be generated 2,700 times faster than if using a state-of-the-art deep learner. From this result, we make two conclusions. Firstly, for predicting issue close time, we would recommend SIMPLE over complex deep learners. Secondly, before analysts try very sophisticated (but very slow) algorithms, they might achieve better results, much sooner, by applying hyper-parameter optimization to simple (but very fast) algorithms.

연구 동기 및 목표

• 소프트웨어 공학 예측 과제에서 딥러닝 모델과 간단한 대안 간의 실증 사례 비교가 부족한 문제를 해결하기 위해.
• 간단한 순전파 신경망의 하이퍼파aram터 최적화가 이슈 종료 시간 예측에서 복잡한 딥러닝 모델을 능가할 수 있는지 조사하기 위해.
• 실제 소프트웨어 프로젝트 데이터에서 모델 복잡도, 학습 속도, 예측 성능 간의 상호 교환 관계를 평가하기 위해.
• 더 복잡한 딥러닝 모델이 이슈 추적 예측에 있어 본질적으로 열등하지 않다는 가정을 도전하기 위해.

제안 방법

• 기본 모델로 단순한 순전파 신경망을 사용하였으며, 이는 빠른 속도와 낮은 계산 오버헤드를 위해 선택되었다.
• 학습률, 네트워크 깊이 등 핵심 파라미터를 최적화하기 위해 빠르고 고유의 최적화 알고리즘을 사용하여 하이퍼파aram터 최적화를 적용하였다.
• 데이터셋은 크롬, 이클립스, 파이어폭스 프로젝트의 45,364개 이슈(2010년 1월–2016년 3월)에서 수집되었다.
• 최적화된 SIMPLE 모델의 성능을 최신 기술인 LSTM 기반 딥러닝 모델과 비교하였다.
• 학습 시간을 측정하고 비교하였으며, SIMPLE는 3초 내로 학습을 완료하였고, LSTM 모델은 종료되기까지 6시간이 소요되었다.
• 이행 예측 정확도 평가를 위해 표준 회귀 평가 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 하이퍼파aram터 최적화가 적용된 단순한 순전파 신경망이 버그지라의 이슈 종료 시간 예측에서 복잡한 딥러닝 모델을 능가하는가?
• RQ2 이 맥락에서 단순 모델의 학습 속도는 복잡한 딥러닝 모델과 비교해 어떻게 되는가?
• RQ3 적절히 튜닝된 빠르고 경량의 모델이 더 정교한 LSTM 기반 모델보다 더 높은 예측 성능을 달성할 수 있는가?
• RQ4 실제 소프트웨어 공학 데이터셋에서 단순 모델의 하이퍼파aram터 최적화와 복잡한 딥러닝 모델 간에 상당한 성능 격차가 존재하는가?

주요 결과

• SIMPLE 모델은 더 복잡한 LSTM 기반 딥러닝 모델보다 이슈 종료 시간 예측에서 유의미하게 높은 성능을 달성하였다.
• SIMPLE 모델은 단 3초 만에 학습을 완료하였고, LSTM 모델은 종료되기까지 6시간이 소요되어 2,700배의 속도 향상을 기록하였다.
• 단순 모델의 하이퍼파aram터 최적화가 복잡한 모델를 튜닝 없이 학습시킨 것보다 더 우수한 결과를 도출하였다.
• 이 연구는 하이퍼파aram터 최적화가 잘 된 단순 모델이 소프트웨어 공학 예측 과제에서 복잡한 딥러닝 모델을 능가할 수 있음을 입증하였다.
• 결과적으로 연구자와 실무자들은 느린 복잡한 딥러닝 아키텍처를 도입하기 전에 빠르고 단순한 모델의 하이퍼파aram터 최적화를 우선 고려해야 한다고 제안한다.