[论文解读] Fault in your stars: An Analysis of Android App Reviews

Rahul Aralikatte, Giriprasad Sridhara+2 more|arXiv (Cornell University)|Aug 16, 2017

Software Engineering Research参考文献 19被引用 5

一句话总结

本文提出一种深度学习方法，用于检测Android应用评论中评分与评论情感不一致的问题，即评论内容的情感与所分配的评分不符。该方法采用基于依存句法的卷积神经网络（DCNN），在识别不一致评论方面达到92%的准确率，真实世界验证显示在用户生成的评论中准确率为87%，表明在10款热门应用中，16%至26%的评论存在评分与评论不一致的现象。

ABSTRACT

Mobile app distribution platforms such as Google Play Store allow users to share their feedback about downloaded apps in the form of a review comment and a corresponding star rating. Typically, the star rating ranges from one to five stars, with one star denoting a high sense of dissatisfaction with the app and five stars denoting a high sense of satisfaction. Unfortunately, due to a variety of reasons, often the star rating provided by a user is inconsistent with the opinion expressed in the review. For example, consider the following review for the Facebook App on Android; "Awesome App". One would reasonably expect the rating for this review to be five stars, but the actual rating is one star! Such inconsistent ratings can lead to a deflated (or inflated) overall average rating of an app which can affect user downloads, as typically users look at the average star ratings while making a decision on downloading an app. Also, the app developers receive a biased feedback about the application that does not represent ground reality. This is especially significant for small apps with a few thousand downloads as even a small number of mismatched reviews can bring down the average rating drastically. In this paper, we conducted a study on this review-rating mismatch problem. We manually examined 8600 reviews from 10 popular Android apps and found that 20% of the ratings in our dataset were inconsistent with the review. Further, we developed three systems; two of which were based on traditional machine learning and one on deep learning to automatically identify reviews whose rating did not match with the opinion expressed in the review. Our deep learning system performed the best and had an accuracy of 92% in identifying the correct star rating to be associated with a given review.

研究动机与目标

• 调查Android应用评论中评分与情感不一致现象的普遍性及其影响，即评论内容的情感与所分配的评分不一致。
• 证明人工检测此类不一致问题耗时且难以大规模实施，因此需要自动化解决方案。
• 开发并评估能够准确识别评分不一致评论的机器学习与深度学习模型。
• 通过人工标注数据和来自多样化应用的真实用户生成评论，对系统性能进行验证。
• 估算在主流Android应用中评分与评论不一致现象的实际普遍性。

提出的方法

• 该研究人工分析了10款热门Android应用的8,600条评论，以建立不一致率的基线数据。
• 开发了三种自动化系统：两种基于传统机器学习（使用TF-IDF和多种分类器），一种基于深度学习的模型，采用基于依存句法的卷积神经网络（DCNN）。
• DCNN模型利用依存句法分析来捕捉评论文本中的句法关系，从而提升情感表征，增强评分预测能力。
• 模型训练与评估使用人工标注数据集进行交叉验证，以评估性能。
• 开展了面向终端用户的评估，共23名参与者为66款不同应用撰写了115条评论，将系统的预测评分与用户提供的评分进行对比。
• 将系统应用于估算10款主流Android应用在Google Play商店中评分不一致的普遍性，使用训练好的DCNN模型进行分析。

实验结果

研究问题

• RQ1 在主流Android应用中，评分与评论不一致问题的普遍程度如何？
• RQ2 机器学习与深度学习模型能否有效检测评论情感与所分配星级评分之间的不一致？
• RQ3 与传统机器学习方法相比，深度学习模型在识别评分不一致方面表现如何？
• RQ4 当在多样化应用的真实用户生成评论上进行评估时，系统的准确率如何？
• RQ5 在真实世界的Android应用生态系统中，评分与评论不一致的实际普遍性是多少？

主要发现

• 在10款热门Android应用中人工分析的8,600条评论中，约有20%存在评论内容与所分配星级评分不一致的情况。
• 基于依存句法的卷积神经网络（DCNN）模型在人工标注数据集上的交叉验证准确率达到92%，能够有效识别不一致评论。
• 在终端用户评估中，DCNN系统在115条来自66款不同应用的用户生成评论中，正确预测了87%的预期评分。
• 在所研究的10款应用中，评分与评论不一致的普遍性范围为16%至26%，表明该问题具有广泛性。
• 调查结果证实，用户在修改评论内容后常常未更新其评分，这是导致不一致问题的重要原因。
• 本研究表明，若不检测评分与评论的一致性，仅依赖平均评分可能导致应用性能指标失真，并可能降低下载量，尤其对小型应用影响显著。