[论文解读] Evaluating Pre-Trained Models for User Feedback Analysis in Software Engineering: A Study on Classification of App-Reviews

M.A. Hadi, Fatemeh H. Fard|arXiv (Cornell University)|Apr 12, 2021

Software Engineering Research被引用 7

一句话总结

本研究评估了预训练变换器模型（PTMs）在将应用评论分类为软件工程问题方面的表现，对比了多种设置下的先前方法。针对应用评论微调的定制化PTMs在准确率和推理速度方面均优于通用PTMs和传统模型，尤其在多分类和零样本场景下表现更优。

ABSTRACT

Context: Mobile app reviews written by users on app stores or social media are significant resources for app developers.Analyzing app reviews have proved to be useful for many areas of software engineering (e.g., requirement engineering, testing). Automatic classification of app reviews requires extensive efforts to manually curate a labeled dataset. When the classification purpose changes (e.g. identifying bugs versus usability issues or sentiment), new datasets should be labeled, which prevents the extensibility of the developed models for new desired classes/tasks in practice. Recent pre-trained neural language models (PTM) are trained on large corpora in an unsupervised manner and have found success in solving similar Natural Language Processing problems. However, the applicability of PTMs is not explored for app review classification Objective: We investigate the benefits of PTMs for app review classification compared to the existing models, as well as the transferability of PTMs in multiple settings. Method: We empirically study the accuracy and time efficiency of PTMs compared to prior approaches using six datasets from literature. In addition, we investigate the performance of the PTMs trained on app reviews (i.e. domain-specific PTMs) . We set up different studies to evaluate PTMs in multiple settings: binary vs. multi-class classification, zero-shot classification (when new labels are introduced to the model), multi-task setting, and classification of reviews from different resources. The datasets are manually labeled app review datasets from Google Play Store, Apple App Store, and Twitter data. In all cases, Micro and Macro Precision, Recall, and F1-scores will be used and we will report the time required for training and prediction with the models.

研究动机与目标

• 评估预训练变换器模型（PTMs）在将应用评论分类为软件工程问题方面相对于先前方法的有效性。
• 调查基于领域特定数据（即在应用评论数据上微调）的PTMs是否能提升分类性能，相较于通用PTMs。
• 评估PTMs在不同数据集、平台（Google Play、Apple App Store、Twitter）以及分类任务（二分类、多分类、零样本、多任务）之间的可迁移性。
• 衡量PTMs与传统模型在训练和推理时间效率方面的差异，特别是在不同数据和标签配置下的表现。
• 确定PTMs在应用反馈分析中的最优使用场景，特别是在标注数据稀缺或出现新问题类别时。

提出的方法

• 选取了六个现有数据集，其中包含来自Google Play、Apple App Store和Twitter的手动标注的应用评论。
• 将六种PTMs（如BERT、RoBERTa、DistilBERT）与先前方法进行比较：传统机器学习（SVM、NB）、集成方法，以及使用词嵌入的深度学习方法。
• 使用从Google Play收集的应用评论数据，通过引入领域特定文本进行预训练，训练了定制化PTMs（CPTMs）。
• 在多种设置下评估模型：二分类与多分类分类、零样本学习、多任务学习，以及跨资源分类。
• 采用微观和宏观F1、精确率和召回率作为评估指标，并报告了训练和推理时间以进行效率分析。
• 应用分层k折交叉验证，并通过仔细的标签合并与验证策略解决数据不平衡问题。

Figure 1: Overview of Research Steps for RQ1

实验结果

研究问题

• RQ1 预训练变换器模型与先前方法相比，在将应用评论分类为软件工程问题方面表现如何？
• RQ2 在应用特定评论上进行预训练（即定制化PTMs）是否能提升不同设置下的分类性能？
• RQ3 当引入未见的新问题类别且无标注训练数据时，PTMs在零样本分类中的有效性如何？
• RQ4 数据来源（如Google Play与Twitter）对PTM性能和泛化能力有何影响？
• RQ5 与传统模型相比，PTMs在训练和推理效率方面表现如何？

主要发现

• 预训练变换器模型（PTMs）在二分类和多分类任务中均取得了高于先前方法的微观和宏观F1分数。
• 在所有评估设置中，针对应用评论预训练的定制化PTMs（CPTMs）始终优于通用PTMs和传统模型，达到最高的F1分数。
• 在更大规模的应用评论数据上训练的CPTMs表现出显著更优的性能，最大规模的CPTM变体取得了最高的F1分数。
• 与通用PTMs相比，使用CPTMs可降低预测推理时间，表明其在部署中具有更高的效率。
• 在多资源分类（如整合多个来源的数据）中，集成方法和使用词嵌入的深度学习方法优于通用PTMs，但CPTMs仍位居第一。
• CPTMs在零样本分类中的表现有所提升，表明其对未见标签具有更好的泛化能力，尽管性能仍低于少样本或完全监督设置。

Figure 2: Overview of Research Steps for RQ2 (left) and RQ3 (right)