[论文解读] An Improved Naive Bayes Classifier-based Noise Detection Technique for Classifying User Phone Call Behavior

Iqbal H. Sarker, Muhammad Ashad Kabir+2 more|arXiv (Cornell University)|Oct 12, 2017

Text and Document Classification Technologies参考文献 9被引用 11

一句话总结

本文提出一种基于动态阈值的噪声检测技术，结合朴素贝叶斯分类器（NBC）与拉普拉斯估计器，以提升用户电话通话行为的分类性能。通过根据个体行为模式自适应调整噪声阈值，该方法减少了对真实用户行为的误分类，相较于传统基于NBC的方法，在真实通话日志数据集上实现了更高的精确率、召回率和F1值。

ABSTRACT

The presence of noisy instances in mobile phone data is a fundamental issue for classifying user phone call behavior (i.e., accept, reject, missed and outgoing), with many potential negative consequences. The classification accuracy may decrease and the complexity of the classifiers may increase due to the number of redundant training samples. To detect such noisy instances from a training dataset, researchers use naive Bayes classifier (NBC) as it identifies misclassified instances by taking into account independence assumption and conditional probabilities of the attributes. However, some of these misclassified instances might indicate usages behavioral patterns of individual mobile phone users. Existing naive Bayes classifier based noise detection techniques have not considered this issue and, thus, are lacking in classification accuracy. In this paper, we propose an improved noise detection technique based on naive Bayes classifier for effectively classifying users' phone call behaviors. In order to improve the classification accuracy, we effectively identify noisy instances from the training dataset by analyzing the behavioral patterns of individuals. We dynamically determine a noise threshold according to individual's unique behavioral patterns by using both the naive Bayes classifier and Laplace estimator. We use this noise threshold to identify noisy instances. To measure the effectiveness of our technique in classifying user phone call behavior, we employ the most popular classification algorithm (e.g., decision tree). Experimental results on the real phone call log dataset show that our proposed technique more accurately identifies the noisy instances from the training datasets that leads to better classification accuracy.

研究动机与目标

• 解决现有基于朴素贝叶斯的噪声检测技术存在的局限性，即错误地将所有误分类实例视为噪声，可能因此移除有效的行为模式。
• 通过区分真实噪声与合法的行为差异，提升移动用户通话行为分类的准确性。
• 开发一种个性化噪声阈值机制，使其能够适应个体用户的独特通话模式。
• 利用标准指标（精确率、召回率、F1值）在真实世界通话日志数据上评估所提方法的有效性。
• 证明基于条件概率与拉普拉斯估计的动态阈值可提升决策树在分类通话行为方面的性能。

提出的方法

• 使用朴素贝叶斯分类器结合拉普拉斯估计器，计算所有实例的条件概率，以处理零频问题。
• 基于用户独特的行为模式与分类置信度，为每位用户动态确定一个噪声阈值。
• 将未达到用户特定噪声阈值的实例识别为噪声，而非将所有误分类实例一律视为噪声。
• 采用10折交叉验证，在经噪声过滤后的数据集上训练并测试决策树分类器，以评估性能。
• 使用精确率、召回率与F1值作为评估指标，将所提方法与基线NBC方法进行对比。
• 利用NBC的独立性假设与条件概率建模能力，检测误分类实例，同时保留有意义的行为模式。

实验结果

研究问题

• RQ1 基于个体行为模式的动态噪声阈值是否能提升移动电话通话行为检测中的分类准确性？
• RQ2 与传统基于NBC的噪声检测方法相比，所提方法在精确率、召回率与F1值方面表现如何？
• RQ3 个性化阈值化在多大程度上降低了在噪声过滤过程中误删真实行为模式的风险？
• RQ4 拉普拉斯估计器的引入是否增强了在低频属性场景下噪声检测的鲁棒性？
• RQ5 所提技术能否有效降低在噪声较多的移动通话日志上训练决策树分类器时的过拟合与复杂度？

主要发现

• 所提动态阈值方法在用户51上的F1值达到0.85，优于基线NBC方法的0.78，表明整体分类性能得到提升。
• 对于用户04，所提方法将F1值从基线的0.45提升至0.78，表明在处理具有挑战性的用户画像时具有显著优势。
• 在所有五名用户中，该方法在精确率、召回率与F1值方面均持续优于基线方法，平均F1值提升达15%-20%。
• 用户26的F1值从基线的0.65提升至0.80，凸显该方法在具有复杂或多变通话模式的用户中的有效性。
• 动态阈值机制成功保留了在传统方法中会被误判为噪声的合法行为模式。
• 结果证实，基于行为模式的个性化噪声检测可实现更准确、更鲁棒的通话行为分类。