[논문 리뷰] Evaluating Pre-Trained Models for User Feedback Analysis in Software Engineering: A Study on Classification of App-Reviews

M.A. Hadi, Fatemeh H. Fard|arXiv (Cornell University)|2021. 04. 12.

Software Engineering Research인용 수 7

한 줄 요약

이 연구는 소프트웨어 공학 이슈로 분류하기 위해 사전 훈련된 트랜스포머 모델(PTM)을 평가하며, 다양한 설정에서 이전 접근법과 비교한다. 애플리케이션 리뷰 데이터로 사전 훈련된 맞춤형 PTM은 일반 PTM과 전통적 모델보다 정확도와 추론 속도에서 뛰어나며, 특히 다중 클래스 및 제로샷 시나리오에서 두각을 나타낸다.

ABSTRACT

Context: Mobile app reviews written by users on app stores or social media are significant resources for app developers.Analyzing app reviews have proved to be useful for many areas of software engineering (e.g., requirement engineering, testing). Automatic classification of app reviews requires extensive efforts to manually curate a labeled dataset. When the classification purpose changes (e.g. identifying bugs versus usability issues or sentiment), new datasets should be labeled, which prevents the extensibility of the developed models for new desired classes/tasks in practice. Recent pre-trained neural language models (PTM) are trained on large corpora in an unsupervised manner and have found success in solving similar Natural Language Processing problems. However, the applicability of PTMs is not explored for app review classification Objective: We investigate the benefits of PTMs for app review classification compared to the existing models, as well as the transferability of PTMs in multiple settings. Method: We empirically study the accuracy and time efficiency of PTMs compared to prior approaches using six datasets from literature. In addition, we investigate the performance of the PTMs trained on app reviews (i.e. domain-specific PTMs) . We set up different studies to evaluate PTMs in multiple settings: binary vs. multi-class classification, zero-shot classification (when new labels are introduced to the model), multi-task setting, and classification of reviews from different resources. The datasets are manually labeled app review datasets from Google Play Store, Apple App Store, and Twitter data. In all cases, Micro and Macro Precision, Recall, and F1-scores will be used and we will report the time required for training and prediction with the models.

연구 동기 및 목표

• 사전 훈련된 트랜스포머 모델(PTM)이 이전 접근법과 비교하여 애플리케이션 리뷰의 소프트웨어 공학 이슈를 분류하는 데 얼마나 효과적인지 평가하는 것.
• 앱 리뷰 데이터로 미세조정된 도메인 특화 PTM—즉, 애플리케이션 리뷰 데이터로 사전 훈련된 PTM—이 일반 목적의 PTM보다 분류 성능을 향상시키는지 조사하는 것.
• PTM의 이식 가능성(transferability)을 다양한 데이터셋, 플랫폼(Google Play, Apple App Store, Twitter), 분류 작업(이진, 다중 클래스, 제로샷, 다중 작업) 간에 평가하는 것.
• 훈련 및 추론 시의 시간 효율성을 분석하여, PTM이 전통적 모델과 비교해 어떤가를 측정하는 것, 특히 다양한 데이터 및 레이블 구성 조건에서의 성능을 분석하는 것.
• 특히 레이블이 부족하거나 새로운 이슈 카테고리가 등장할 때 PTM의 최적의 활용 사례를 규명하는 것.

제안 방법

• Google Play, Apple App Store, Twitter에서 수집한 수동으로 레이블이 부여된 애플리케이션 리뷰를 포함한 6개의 기존 데이터셋을 선정.
• 기존 접근법과 비교: 전통적 기계학습(SVM, NB), 앙상블 방법, 단어 임베딩을 사용한 딥러닝.
• Google Play에서 수집한 애플리케이션 리뷰 데이터를 사용하여 도메인 특화 텍스트를 사전 훈련에 통합한 맞춤형 PTM(CPTM)을 훈련.
• 다양한 설정에서 모델을 평가: 이진 대 다중 클래스 분류, 제로샷 학습, 다중 작업 학습, 자원 간 분류.
• 평가 지표로 마이크로 및 매크로 F1, 정밀도, 재현율을 사용하였으며, 효율성 분석을 위해 훈련 및 추론 시간도 기록.
• 층화된 k-폴드 교차검증을 적용하고, 데이터 불균형 문제를 해결하기 위해 주의 깊은 레이블 병합 및 검증 전략을 수립.

Figure 1: Overview of Research Steps for RQ1

실험 결과

연구 질문

• RQ1 사전 훈련된 트랜스포머 모델은 이전 접근법과 비교해 애플리케이션 리뷰를 소프트웨어 공학 이슈로 분류하는 데 어떻게 성능을 내는가?
• RQ2 앱 전용 리뷰로 사전 훈련된 PTM(즉, 맞춤형 PTM)은 다양한 설정에서 분류 성능을 향상시키는가?
• RQ3 새로운 이슈 카테고리가 레이블이 없는 훈련 데이터 없이 제로샷 분류에서 PTM의 성능은 얼마나 효과적인가?
• RQ4 데이터 소스(예: Google Play 대 Twitter)가 PTM 성능 및 일반화 능력에 어떤 영향을 미치는가?
• RQ5 훈련 및 추론 효율성 측면에서 기존 모델과 비교해 PTM은 어떻게 성능을 내는가?

주요 결과

• 사전 훈련된 트랜스포머 모델(PTM)은 이진 및 다중 클래스 분류 작업 모두에서 이전 접근법보다 높은 마이크로 및 매크로 F1 스코어를 달성한다.
• 앱 리뷰 데이터로 사전 훈련된 맞춤형 PTM(CPTM)은 모든 평가 설정에서 일반 PTM과 전통적 모델을 일관되게 능가하며, 가장 높은 F1 스코어를 기록한다.
• 더 많은 애플리케이션 리뷰 데이터로 훈련된 CPTM는 뚜렷이 향상된 성능을 보이며, 가장 큰 CPTM 버전에서 가장 높은 F1 스코어가 관찰되었다.
• 일반 PTM 대비 CPTM를 사용할 경우 추론 시간이 감소하여, 구현 시 더 높은 효율성을 보임을 확인하였다.
• 다양한 자원의 데이터를 조합하는 다중 자원 분류 설정(예: 여러 소스의 데이터 통합)에서는 앙상블 방법과 단어 임베딩을 사용한 딥러닝 모델이 일반 PTM을 능가하지만, CPTM는 여전히 최상위 순위를 유지한다.
• 제로샷 분류 성능은 CPTM를 통해 향상되었으며, 이는 새로운 레이블에 대한 일반화 능력 향상을 시사하지만, 소수의 샘플이나 완전한 지도 학습 설정 수준에는 미치지 못한다.

Figure 2: Overview of Research Steps for RQ2 (left) and RQ3 (right)