[論文レビュー] An Improved Naive Bayes Classifier-based Noise Detection Technique for Classifying User Phone Call Behavior

Iqbal H. Sarker, Muhammad Ashad Kabir+2 more|arXiv (Cornell University)|Oct 12, 2017

Text and Document Classification Technologies参考文献 9被引用数 11

ひとこと要約

本稿では、ナイーブベイズ分類器（NBC）とラプラス推定法を用いて、ユーザーの通話行動の分類を向上させる動的しきい値ベースのノイズ検出技術を提案する。個々の行動パターンに合わせてノイズしきい値を適応的に調整することにより、本物のユーザー行動が誤って分類されるのを低減し、実際の通話ログデータセット上で従来のNBCベースの手法と比較して、より高い正確性、再現率、F1スコアを達成する。

ABSTRACT

The presence of noisy instances in mobile phone data is a fundamental issue for classifying user phone call behavior (i.e., accept, reject, missed and outgoing), with many potential negative consequences. The classification accuracy may decrease and the complexity of the classifiers may increase due to the number of redundant training samples. To detect such noisy instances from a training dataset, researchers use naive Bayes classifier (NBC) as it identifies misclassified instances by taking into account independence assumption and conditional probabilities of the attributes. However, some of these misclassified instances might indicate usages behavioral patterns of individual mobile phone users. Existing naive Bayes classifier based noise detection techniques have not considered this issue and, thus, are lacking in classification accuracy. In this paper, we propose an improved noise detection technique based on naive Bayes classifier for effectively classifying users' phone call behaviors. In order to improve the classification accuracy, we effectively identify noisy instances from the training dataset by analyzing the behavioral patterns of individuals. We dynamically determine a noise threshold according to individual's unique behavioral patterns by using both the naive Bayes classifier and Laplace estimator. We use this noise threshold to identify noisy instances. To measure the effectiveness of our technique in classifying user phone call behavior, we employ the most popular classification algorithm (e.g., decision tree). Experimental results on the real phone call log dataset show that our proposed technique more accurately identifies the noisy instances from the training datasets that leads to better classification accuracy.

研究の動機と目的

• すべての誤分類インスタンスをノイズとみなす従来のナイーブベイズベースのノイズ検出手法の限界を是正すること。
• 本物の行動変動と真のノイズを区別することで、モバイルユーザーの通話行動分類の正確性を向上させること。
• 個々のユーザーの独自の通話パターンに適応する個別化されたノイズしきい値のメカニズムを開発すること。
• 標準的な指標（正確性、再現率、F1スコア）を用いて、実世界の通話ログデータ上で提案手法の有効性を評価すること。
• 条件付き確率とラプラス推定に基づく動的しきい値が、通話行動分類における意思決定ツリーの性能を向上させることを示すこと。

提案手法

• ゼロ周波数問題を扱うためにラプラス推定法を用いたナイーブベイズ分類器を用いて、すべてのインスタンスの条件付き確率を計算する。
• 個々のユーザーの独自の行動パターンと分類の信頼度に基づいて、動的にノイズしきい値を決定する。
• すべての誤分類インスタンスをノイズとみなすのではなく、ユーザー固有のノイズしきい値を満たさないインスタンスをノイズと特定する。
• 性能評価のため、ノイズフィルタリング済みデータセット上で10分割交差検証を用いて意思決定ツリー分類器を学習およびテストする。
• 提案手法とベースラインのNBCベース手法を比較するため、正確性、再現率、F1スコアを評価指標として用いる。
• NBCの独立性仮定と条件付き確率モデリングを活用して、誤分類インスタンスを検出しつつ、意味のある行動パターンを保持する。

実験結果

リサーチクエスチョン

• RQ1 個々の行動パターンに基づく動的ノイズしきい値は、モバイル電話通話行動検出における分類正確性の向上に寄与するか？
• RQ2 提案手法は、正確性、再現率、F1スコアの観点で、従来のNBCベースのノイズ検出手法と比較してどのように異なるか？
• RQ3 個別化されたしきい値設定は、ノイズフィルタリングの過程で本物の行動パターンが削除されるリスクをどの程度低減するか？
• RQ4 ラプラス推定法の統合は、低周波数属性の状況下でのノイズ検出の頑健性を向上させるか？
• RQ5 提案手法は、ノイズの多いモバイル通話ログ上で学習された意思決定ツリー分類器の過学習と複雑性を効果的に低減できるか？

主な発見

• 提案された動的しきい値ベースの手法は、ユーザー51においてベースラインのNBC手法（0.78）と比較して、F1スコアが0.85に向上し、全体的な分類性能の向上を示した。
• ユーザー04では、F1スコアがベースラインの0.45から提案手法で0.78に向上し、挑戦的なユーザーのプロファイルに対しても顕著な向上が見られた。
• 本手法は、全5名のユーザーにおいて正確性、再現率、F1スコアの観点で、一貫してベースラインを上回り、平均でF1スコアが15〜20%向上した。
• ユーザー26では、F1スコアがベースラインの0.65から0.80に向上し、複雑または変動の大きい通話パターンを持つユーザーにおいて特に有効であることが示された。
• 動的しきい値設定メカニズムにより、従来の手法でノイズとして破棄される可能性のある正当な行動パターンが、うまく保持された。
• 結果から、行動パターンに基づく個別化されたノイズ検出が、電話通話行動のより正確で頑健な分類を可能にすることが確認された。