[논문 리뷰] DeepTriage: Exploring the Effectiveness of Deep Learning for Bug Triaging

Senthil Mani, Anush Sankaran외 1명|arXiv (Cornell University)|2018. 01. 04.

Software Engineering Research참고 문헌 27인용 수 25

한 줄 요약

이 논문은 제목과 기술서술을 통해 버그 보고서의 문맥적이고 의미적인 표현을 학습하기 위해 주목사용을 갖춘 딥 양방향 RNN(DBRNN-A)인 DeepTriage를 제안한다. 이는 전통적인 단어 집합 모델보다 뛰어난 성능을 보이며, 라벨이 없는 버그 보고서를 활용하고 전이 학습을 가능하게 하여 세 개의 오픈소스 데이터셋에서 랭크-10 평균 정확도가 높아졌다. 코드와 데이터는 재현 가능성을 위해 공개되었다.

ABSTRACT

For a given software bug report, identifying an appropriate developer who could potentially fix the bug is the primary task of a bug triaging process. A bug title (summary) and a detailed description is present in most of the bug tracking systems. Automatic bug triaging algorithm can be formulated as a classification problem, with the bug title and description as the input, mapping it to one of the available developers (classes). The major challenge is that the bug description usually contains a combination of free unstructured text, code snippets, and stack trace making the input data noisy. The existing bag-of-words (BOW) feature models do not consider the syntactical and sequential word information available in the unstructured text. We propose a novel bug report representation algorithm using an attention based deep bidirectional recurrent neural network (DBRNN-A) model that learns a syntactic and semantic feature from long word sequences in an unsupervised manner. Instead of BOW features, the DBRNN-A based bug representation is then used for training the classifier. Using an attention mechanism enables the model to learn the context representation over a long word sequence, as in a bug report. To provide a large amount of data to learn the feature learning model, the unfixed bug reports (~70% bugs in an open source bug tracking system) are leveraged, which were completely ignored in the previous studies. Another contribution is to make this research reproducible by making the source code available and creating a public benchmark dataset of bug reports from three open source bug tracking system: Google Chromium (383,104 bug reports), Mozilla Core (314,388 bug reports), and Mozilla Firefox (162,307 bug reports). Experimentally we compare our approach with BOW model and machine learning approaches and observe that DBRNN-A provides a higher rank-10 average accuracy.

연구 동기 및 목표

• 자동 트리징에서 텍스트, 코드, 스택 트레이스를 포함한 노이즈가 많고 비정형적인 버그 보고서 데이터의 과제를 해결하기 위해.
• 버그 보고서에서 단어 순서와 의미 관계를 무시하는 전통적인 단어 집합 모델의 한계를 극복하기 위해.
• 버그 보고서의 장거리 문법적 및 의미적 종속성을 포착하는 딥 러닝 기반 표현 모델을 개발하기 위해.
• 비정상(라벨이 없는) 버그 보고서를 추가 학습 데이터로 활용하여 비지도 사전 훈련을 통해 트리징 성능을 향상시키기 위해.
• 버그 트리징 연구를 위한 공개 벤치마크 데이터셋과 소스 코드를 배포하여 재현 가능성을 향상시키기 위해.

제안 방법

• 전체 버그 보고서(제목 + 기술서술)를 하나의 맥락 인식 벡터 표현으로 압축하기 위해 주목 기반 딥 양방향 순환 신경망(DBRNN)을 사용한다.
• 라벨이 없는 버그 보고서 대량(데이터의 약 70%)을 대상으로 비지도 사전 훈련을 수행하여 라벨이 필요 없이 강력하고 일반화 가능한 특징을 학습한다.
• 기존의 단어 집합 또는 TF-IDF 특징 대신 DBRNN-A로 학습된 표현을 후속 분류기의 입력으로 사용한다.
• 학습된 표현을 기반으로 소프트맥스, SVM, 나이브 베이즈, 코사인 거리 분류기를 훈련하고 평가하여 성능을 평가한다.
• Google Chromium에서 사전 훈련된 DBRNN-A 모델을 미세 조정하여 Mozilla Core 및 Firefox 데이터셋에서 버그 트리징을 수행함으로써 전이 학습을 적용한다.
• 세 개의 오픈소스 프로젝트인 Google Chromium, Mozilla Core, Mozilla Firefox에서 표준화된 전처리 및 평가 프로토콜을 적용하여 공개 벤치마크 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 주목 기반 딥 양방향 RNN(DBRNN-A)은 기존의 단어 집합 모델보다 더 효과적이고 강력한 버그 보고서 표현을 학습할 수 있는가?
• RQ2 비정상(라벨이 없는) 버그 보고서를 활용하여 비지도 사전 훈련을 수행하면 트리징 모델의 성능이 유의미하게 향상되는가?
• RQ3 제안된 DBRNN-A 표현은 전이 학습을 통해 다양한 소프트웨어 프로젝트 간에 얼마나 일반화되는가?
• RQ4 제목만 사용하는 것과 비교해 전체 버그 기술서술을 포함하는 것이 트리징 성능에 어떤 영향을 미치는가?
• RQ5 제안된 특징 표현은 트리징 이외의 소프트웨어 유지보수 작업에도 효과적으로 재사용될 수 있는가?

주요 결과

• DBRNN-A 모델에 소프트맥스 분류기를 적용한 결과, Chromium, Mozilla Core, Firefox 세 데이터셋 전반에서 모든 기준 모델(BOW, SVM, 나이브 베이즈, 코사인 거리)보다 랭크-10 평균 정확도가 높았다.
• 버그 제목만을 사용한 트리징은 성능 저하가 심각하게 발생했으며, 이는 전체 기술서술을 입력에 포함시키는 것이 매우 중요하다는 것을 시사한다.
• Chromium 데이터셋에서 사전 훈련된 모델이 Mozilla 데이터셋에서 경쟁적인 트리징 정확도를 달성하여 강력한 전이 학습 능력을 입증했다.
• 비정상 버그 보고서를 비지도 사전 훈련에 활용함으로써 최종 분류 성능이 유의미하게 향상되었으며, 이는 이전 연구에서 무시되었던 데이터였다.
• 제안된 방법은 tf-idf, n-gram, 앙상블 방법을 사용한 기존 최고 성능 모델들보다도 뛰어나며, 일부 경우에서 랭크-10 정확도가 최대 10%p 향상되었다.
• 공개된 벤치마크 데이터셋, 코드, 평가 프로토콜 덕분에 완전한 재현 가능성이 확보되었으며, 향후 자동 소프트웨어 유지보수 연구를 촉진한다.