[论文解读] Mining User Opinions in Mobile App Reviews: A Keyword-based Approach

Phong Minh Vu, Tam The Nguyen+2 more|arXiv (Cornell University)|May 18, 2015

Web Data Mining and Analysis参考文献 19被引用 49

一句话总结

本文提出 MARK，一种基于关键词的框架，用于半自动地从移动应用评论中挖掘用户意见。它利用关键词提取、基于 Word2Vec 的语义聚类以及趋势分析，识别并可视化负面情绪和新兴问题，关键词分组准确率达 83%，扩展准确率达 89.7%，在电池相关查询中，前 50 条返回评论的相关性达 90%。

ABSTRACT

User reviews of mobile apps often contain complaints or suggestions which are valuable for app developers to improve user experience and satisfaction. However, due to the large volume and noisy-nature of those reviews, manually analyzing them for useful opinions is inherently challenging. To address this problem, we propose MARK, a keyword-based framework for semi-automated review analysis. MARK allows an analyst describing his interests in one or some mobile apps by a set of keywords. It then finds and lists the reviews most relevant to those keywords for further analysis. It can also draw the trends over time of those keywords and detect their sudden changes, which might indicate the occurrences of serious issues. To help analysts describe their interests more effectively, MARK can automatically extract keywords from raw reviews and rank them by their associations with negative reviews. In addition, based on a vector-based semantic representation of keywords, MARK can divide a large set of keywords into more cohesive subsets, or suggest keywords similar to the selected ones.

研究动机与目标

• 解决手动分析大量嘈杂、充满意见的移动应用评论以获取可操作洞察的挑战。
• 使开发人员和分析人员能够通过基于关键词的查询，高效定位与特定关注点相关的评论。
• 基于语义相似性和负面情绪关联，自动提取、排序、聚类并扩展关键词。
• 检测关键词随时间出现频率的异常趋势，提示潜在的软件问题。
• 提供一种可扩展的半自动解决方案，减少从应用评论中挖掘用户意见的手动工作量。

提出的方法

• 一种定制化的关键词提取技术处理原始应用评论，以识别潜在的意见承载词。
• 一种负面评分方案根据关键词在低分评论中的频率及其与负面情绪的关联性，对提取的关键词进行排序。
• 使用基于 Word2Vec 的向量表示计算关键词之间的语义相似性，用于聚类和扩展。
• K-means 聚类将关键词分组为连贯的主题（例如，'能耗'、'无法恢复的错误'）。
• 关键词扩展通过向量空间邻近性建议语义相似的术语，扩大分析范围。
• 通过简单移动平均法进行趋势可视化和异常检测，识别关键词频率的突然激增或下降，提示潜在问题。

实验结果

研究问题

• RQ1 基于关键词的方法在从嘈杂、非结构化的应用评论中有效识别和优先处理用户意见方面表现如何？
• RQ2 语义向量表示在改进意见相关关键词的分组与扩展方面能发挥多大作用？
• RQ3 自动化趋势分析能否检测出与真实用户问题相关的关键词出现频率中的有意义异常？
• RQ4 该框架在为给定关键词集检索相关评论方面的准确性如何？
• RQ5 该系统在支持开发人员从用户反馈中发现新兴问题方面有多高效？

主要发现

• 关键词分类器在测试集中正确标注了 86.5% 的非英文评论，表明其具备强大的多语言处理能力。
• 定制化的词干提取器优于通用的词形还原工具，在应用评论数据上实现了更高的准确率。
• 关键词聚类技术在将相关关键词分组为连贯的语义主题方面达到了 83% 的准确率。
• 关键词扩展技术在识别输入关键词的语义相似词方面达到了 89.7% 的准确率。
• 在 Facebook Messenger 的电池相关查询中，返回的前 50 条评论中有 90% 与查询相关，证实了高召回精度。
• 异常检测机制通过检测负面关键词出现频率的突然激增，成功识别出 Facebook Messenger 中的一个真实世界问题。