[论文解读] Emerging App Issue Identification via Online Joint Sentiment-Topic Tracing

Cuiyun Gao, Jichuan Zeng+5 more|arXiv (Cornell University)|Aug 23, 2020

Software Engineering Research参考文献 76被引用 9

一句话总结

本文提出MERIT，一种新颖的框架，通过使用自适应在线双词情感-主题（AOBST）模型，联合建模用户评论中的主题与情感，实现对新兴应用问题的检测。通过引入词嵌入和版本感知建模，MERIT相较于最先进方法将F1得分提升了22.3%，有效识别出短文本、情感丰富的应用评论中的负面用户体验问题。

ABSTRACT

Millions of mobile apps are available in app stores, such as Apple's App Store and Google Play. For a mobile app, it would be increasingly challenging to stand out from the enormous competitors and become prevalent among users. Good user experience and well-designed functionalities are the keys to a successful app. To achieve this, popular apps usually schedule their updates frequently. If we can capture the critical app issues faced by users in a timely and accurate manner, developers can make timely updates, and good user experience can be ensured. There exist prior studies on analyzing reviews for detecting emerging app issues. These studies are usually based on topic modeling or clustering techniques. However, the short-length characteristics and sentiment of user reviews have not been considered. In this paper, we propose a novel emerging issue detection approach named MERIT to take into consideration the two aforementioned characteristics. Specifically, we propose an Adaptive Online Biterm Sentiment-Topic (AOBST) model for jointly modeling topics and corresponding sentiments that takes into consideration app versions. Based on the AOBST model, we infer the topics negatively reflected in user reviews for one app version, and automatically interpret the meaning of the topics with most relevant phrases and sentences. Experiments on popular apps from Google Play and Apple's App Store demonstrate the effectiveness of MERIT in identifying emerging app issues, improving the state-of-the-art method by 22.3% in terms of F1-score. In terms of efficiency, MERIT can return results within acceptable time.

研究动机与目标

• 为解决从短文本、情感丰富的用户评论中实时检测新兴应用问题的挑战。
• 克服现有主题建模方法在应用评论中忽略情感和短文本特征的局限性。
• 通过在不同应用版本间联合建模主题与情感，提升问题检测的准确性。
• 利用主题建模生成的相关短语和句子，实现对新兴问题的自动、可解释性标注。
• 确保在应用商店高流量反馈场景下的高效性与可扩展性，适用于实际部署。

提出的方法

• 提出一种自适应在线双词情感-主题（AOBST）模型，联合建模用户评论中的主题与情感，并支持版本特定的追踪。
• 采用基于双词的主题建模方法，更好地处理短文本评论，克服传统LDA在稀疏、短输入上的局限性。
• 引入词嵌入以增强主题的语义表征，并提升检测到的问题的可解释性。
• 应用在线推理机制，随每个新应用版本增量更新主题与情感分布。
• 采用主题标注机制，基于词嵌入相似度从主题分布中选择语义代表性短语/句子。
• 集成情感感知过滤机制，优先识别反映负面用户体验的主题，降低误报率。

实验结果

研究问题

• RQ1 如何能从短文本、情感丰富的用户评论中实时有效检测新兴应用问题？
• RQ2 联合建模主题与情感在多大程度上能提升新兴问题检测的准确性？
• RQ3 词嵌入能否增强应用评论中检测到的主题的可解释性与相关性？
• RQ4 版本感知建模在多大程度上能提升对特定应用版本引入问题的检测能力？
• RQ5 与现有最先进方法相比，所提方法的性能提升如何？

主要发现

• 在Google Play和Apple App Store的真实应用评论数据集上，MERIT相较于最先进方法IDEA，F1得分提升了22.3%。
• 主题与情感的联合建模显著减少了误报，通过过滤掉正面或中性主题，聚焦于负面用户体验。
• 词嵌入的使用增强了主题的可解释性，使系统能够自动提取语义上相关的短语和句子作为问题描述。
• AOBST模型能有效捕捉不同应用版本间的话题变化，实现对特定版本引入问题的精准检测。
• MERIT实现了可接受的推理效率，适用于大规模应用评论分析的实时部署。
• 实验结果证实，短文本特征与情感是准确检测新兴问题的关键因素，而此前的方法往往忽略这些因素。