[논문 리뷰] An Improved Naive Bayes Classifier-based Noise Detection Technique for Classifying User Phone Call Behavior

Iqbal H. Sarker, Muhammad Ashad Kabir외 2명|arXiv (Cornell University)|2017. 10. 12.

Text and Document Classification Technologies참고 문헌 9인용 수 11

한 줄 요약

이 논문은 유저의 전화 통화 행동 분류 정확도를 향상시키기 위해 나이브 베이즈 분류기(Naive Bayes Classifier, NBC)와 라플라스 추정기(Laplace estimator)를 활용한 동적 임계값 기반 노이즈 탐지 기법을 제안한다. 개인의 행동 패턴에 맞게 노이즈 임계값을 적응적으로 조정함으로써 기존의 NBC 기반 접근 방식에 비해 진정한 사용자 행동 패턴이 잘못 분류되는 것을 줄이며, 실제 전화 기록 데이터셋에서 기존 기법 대비 더 높은 정밀도, 재현도 및 F-measure를 달성한다.

ABSTRACT

The presence of noisy instances in mobile phone data is a fundamental issue for classifying user phone call behavior (i.e., accept, reject, missed and outgoing), with many potential negative consequences. The classification accuracy may decrease and the complexity of the classifiers may increase due to the number of redundant training samples. To detect such noisy instances from a training dataset, researchers use naive Bayes classifier (NBC) as it identifies misclassified instances by taking into account independence assumption and conditional probabilities of the attributes. However, some of these misclassified instances might indicate usages behavioral patterns of individual mobile phone users. Existing naive Bayes classifier based noise detection techniques have not considered this issue and, thus, are lacking in classification accuracy. In this paper, we propose an improved noise detection technique based on naive Bayes classifier for effectively classifying users' phone call behaviors. In order to improve the classification accuracy, we effectively identify noisy instances from the training dataset by analyzing the behavioral patterns of individuals. We dynamically determine a noise threshold according to individual's unique behavioral patterns by using both the naive Bayes classifier and Laplace estimator. We use this noise threshold to identify noisy instances. To measure the effectiveness of our technique in classifying user phone call behavior, we employ the most popular classification algorithm (e.g., decision tree). Experimental results on the real phone call log dataset show that our proposed technique more accurately identifies the noisy instances from the training datasets that leads to better classification accuracy.

연구 동기 및 목표

• 모든 잘못 분류된 인스턴스를 노이즈로 간주하는 기존의 나이브 베이즈 기반 노이즈 탐지 기법의 한계를 해결하기 위해, 타당한 행동 패턴이 제거될 수 있는 가능성을 줄이기 위함.
• 진정한 노이즈와 합법적인 행동 패턴의 변동성을 구분함으로써 모바일 사용자 전화 통화 행동의 분류 정확도를 향상시키기 위함.
• 개별 사용자의 고유한 통화 패턴에 맞게 적응하는 개인화된 노이즈 임계값 설정 메커니즘을 개발하기 위함.
• 표준 평가 지표(정밀도, 재현도, F-measure)를 사용하여 실제 통화 로그 데이터에서 제안된 방법의 효과성을 평가하기 위함.
• 조건부 확률과 라플라스 추정을 기반으로 한 동적 임계값 설정이 결합된 의사결정트리 분류기의 성능 향상에 기여함을 입증하기 위함.

제안 방법

• 라플라스 추정기를 사용하여 영주파수 문제를 해결하고, 모든 인스턴스에 대해 조건부 확률을 계산함으로써 나이브 베이즈 분류기(NBC)를 적용함.
• 개별 사용자의 고유한 행동 패턴과 분류 신뢰도를 바탕으로 각 사용자별로 동적 노이즈 임계값을 결정함.
• 모든 잘못 분류된 인스턴스를 동일하게 노이즈로 간주하는 것이 아니라, 사용자별로 설정된 노이즈 임계값을 충족하지 못하는 인스턴스만을 노이즈로 간주함.
• 성능 평가를 위해 10겹 교차검증을 사용하여 노이즈 필터링된 데이터셋에 대해 의사결정트리 분류기를 훈련 및 테스트함.
• 제안된 방법과 기준 기반 NBC 기반 접근 방식을 비교하기 위해 정밀도, 재현도, F-measure를 평가 지표로 사용함.
• NBC의 독립성 가정과 조건부 확률 모델링 기반으로 잘못 분류된 인스턴스를 탐지하면서도 의미 있는 행동 패턴을 유지함.

실험 결과

연구 질문

• RQ1 개별 사용자 행동 패턴에 기반한 동적 노이즈 임계값이 모바일 전화 통화 행동 탐지에서 분류 정확도 향상에 기여할 수 있는가?
• RQ2 기존의 NBC 기반 노이즈 탐지 기법과 비교했을 때, 제안된 방법은 정밀도, 재현도, F-measure 측면에서 어떤 차이를 보이는가?
• RQ3 개인화된 임계값 설정이 노이즈 필터링 과정에서 진정한 행동 패턴이 제거될 위험을 어느 정도 감소시키는가?
• RQ4 라플라스 추정기의 통합이 낮은 빈도의 속성가지의 상황에서 노이즈 탐지의 강건성을 향상시키는가?
• RQ5 제안된 기법이 노이즈가 포함된 모바일 통화 로그에 기반한 의사결정트리 분류기의 과적합과 복잡도를 효과적으로 줄일 수 있는가?

주요 결과

• 제안된 동적 임계값 기반 접근 방식은 사용자 51의 경우 기준 NBC 기법 대비 F-measure 0.85를 기록하여 전반적인 분류 성능 향상을 입증함.
• 사용자 04의 경우 기준 기법의 F-measure 0.45에서 제안된 방법으로 0.78로 향상되어 도전적인 사용자 프로파일 처리에서 뚜렷한 성과 기록.
• 모든 다섯 명의 사용자에 대해 정밀도, 재현도, F-measure 측면에서 기준 기법 대비 일관되게 우수한 성능을 기록하였으며, 평균 F-measure 향상률은 15~20%에 달함.
• 사용자 26는 기준 기준의 F-measure 0.65에서 제안된 방법으로 0.80으로 향상되어 복잡하거나 변동성이 큰 통화 패턴을 가진 사용자에게서도 효과가 뛰어남.
• 동적 임계값 설정 메커니즘이 기존 기법에서 노이즈로 잘못 폐기되는 타당한 행동 패턴을 성공적으로 유지함.
• 결과적으로 행동 패턴에 기반한 개인 맞춤형 노이즈 탐지 기법이 전화 통화 행동의 더 정확하고 강건한 분류를 가능하게 함을 확인함.