[论文解读] Applying Naive Bayes Classification to Google Play Apps Categorization

Olabenjo Babatunde|arXiv (Cornell University)|Aug 30, 2016

Web Data Mining and Analysis参考文献 17被引用 14

一句话总结

本文提出使用多项式朴素贝叶斯结合TF-IDF特征提取，自动将Google Play商店应用分类至合适类别，对合并后的游戏应用类别实现0.85的F1得分，并因对词频更敏感而优于伯努利朴素贝叶斯。该方法利用头部开发者应用的元数据，提升应用可发现性与发布商收入。

ABSTRACT

There are over one million apps on Google Play Store and over half a million publishers. Having such a huge number of apps and developers can pose a challenge to app users and new publishers on the store. Discovering apps can be challenging if apps are not correctly published in the right category, and, in turn, reduce earnings for app developers. Additionally, with over 41 categories on Google Play Store, deciding on the right category to publish an app can be challenging for developers due to the number of categories they have to choose from. Machine Learning has been very useful, especially in classification problems such sentiment analysis, document classification and spam detection. These strategies can also be applied to app categorization on Google Play Store to suggest appropriate categories for app publishers using details from their application. In this project, we built two variations of the Naive Bayes classifier using open metadata from top developer apps on Google Play Store in other to classify new apps on the store. These classifiers are then evaluated using various evaluation methods and their results compared against each other. The results show that the Naive Bayes algorithm performs well for our classification problem and can potentially automate app categorization for Android app publishers on Google Play Store

研究动机与目标

• 为解决Google Play商店中应用分类不准确的问题，该问题会降低应用可发现性及开发者收入。
• 开发一种基于机器学习的解决方案，利用成功开发者的元数据，为新应用推荐最优类别。
• 评估并比较使用TF-IDF特征的多项式与伯努利朴素贝叶斯分类器在应用分类中的性能。
• 提升应用分类准确率，以改善Google Play商店中用户的发现体验及发布商收益。

提出的方法

• 本研究使用监督学习，以Google Play商店中评分较高的应用的公开元数据作为训练数据。
• 应用词频-逆文档频率（TF-IDF）从应用描述和标题中提取并加权相关文本特征。
• 在相同数据集上对两种朴素贝叶斯分类器变体——多项式与伯努利——进行训练与评估，以进行对比分析。
• 通过k折交叉验证、随机打乱交叉验证，以及精确率、召回率、F1得分和混淆矩阵等评估指标，评估模型性能。
• 分析学习曲线，以评估模型泛化能力并检测随着训练数据增加而产生的过拟合现象。
• 提出未来可改进的方向：引入n-gram特征（如二元组"alarm clock"或"angry birds"）以进一步提升分类准确率。

实验结果

研究问题

• RQ1 与伯努利变体相比，多项式朴素贝叶斯分类器在Google Play商店应用分类中的有效性如何？
• RQ2 在应用分类任务中，词频对分类性能有何影响？
• RQ3 为何游戏类应用的误分类率高于其他类别？
• RQ4 TF-IDF增强的特征能否提升使用朴素贝叶斯进行应用分类的准确性？
• RQ5 来自头部开发者的数据集质量与标注一致性如何影响分类器性能？

主要发现

• 多项式朴素贝叶斯分类器优于伯努利变体，对合并后的游戏应用类别实现0.85的F1得分，对所有类别实现0.727的F1得分。
• 伯努利朴素贝叶斯模型在仅游戏类应用上的F1得分仅为0.67，表明当词频至关重要时，其效果有限。
• 分类器在非游戏类别（如TRANSPORTATION、MEDICAL和WEATHER）上表现最佳，因这些类别具有独特且罕见的关键词，精确率达到100%。
• 游戏类别的误分类现象普遍，原因在于子类别（如"Arcade"和"Action"游戏）之间术语重叠严重。
• 学习曲线显示，随着训练集增大，过拟合现象减少，表明模型泛化能力随数据量增加而提升。
• 尽管存在局限性，朴素贝叶斯在训练数据有限时仍因速度快且效果良好，是应用分类的强有力基线模型。