[논문 리뷰] An Effective Approach for Web Document Classification using the Concept of Association Analysis of Data Mining

Rajendra Kumar Roul, Sanjay K. Sahay|arXiv (Cornell University)|2014. 06. 21.

Text and Document Classification Technologies참고 문헌 8인용 수 10

한 줄 요약

이 논문은 웹 문서 분류 방법을 제안하며, FP-Growth 알고리즘을 통해 빈도 있는 항목집합을 추출하여 연관어 패턴을 특징으로 활용하고, 이를 나이브 베이즈 분류기로 분류한다. Gensim NLP 패키지를 활용하여 효과적인 분류 성능을 달성하였으며, 연관 분석이 웹 문서 분류 정확도 향상에 기여할 수 있음을 보여준다.

ABSTRACT

Exponential growth of the web increased the importance of web document classification and data mining. To get the exact information, in the form of knowing what classes a web document belongs to, is expensive. Automatic classification of web document is of great use to search engines which provides this information at a low cost. In this paper, we propose an approach for classifying the web document using the frequent item word sets generated by the Frequent Pattern (FP) Growth which is an association analysis technique of data mining. These set of associated words act as feature set. The final classification obtained after Naïve Bayes classifier used on the feature set. For the experimental work, we use Gensim package, as it is simple and robust. Results show that our approach can be effectively classifying the web document.

연구 동기 및 목표

• 지속적인 웹 성장에 비추어 수작업 기반 웹 문서 분류의 높은 비용 문제를 해결하기 위해.
• 데이터 마이닝에서의 연관 분석 기법을 활용해 웹 문서 내 의미 있는 단어 패턴을 식별하는 데 목적이 있다.
• 빈도 높은 단어 집합을 특징으로 사용하여 자동화되고 저비용인 분류 파이프라인을 개발하기 위해.
• FP-Growth와 나기브 베이즈의 조합이 문서 분류에 얼마나 효과적인지 평가하기 위해.
• 제안된 분류 접근법을 구현하고 테스트하는 데 Gensim을 활용할 수 있는지 검증하기 위해.

제안 방법

• FP-Growth 알고리즘을 웹 문서에 적용하여 텍스트 내 연관 패턴을 나타내는 빈도 높은 항목집합을 탐색한다.
• 이러한 빈도 높은 단어 집합을 각 문서의 주요 특징 표현으로 추출한다.
• 생성된 특징 집합에 대해 나기브 베이즈 분류기를 학습하고 적용하여 문서 클래스를 할당한다.
• 간편함과 강력함을 고려해 Gensim NLP 패키지를 텍스트 전처리, 특징 추출, 분류에 사용한다.
• 이 방법은 문서를 거래 형태로 표현하며, 각 문서를 단어 집합으로 간주하여 연관 규칙 마이닝을 수행한다.
• 기존의 백터 오브 워드 방식을 피하고, 연관 분석을 통해 공존하는 단어 패턴에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 FP-Growth를 통한 빈도 높은 항목집합 마이닝이 웹 문서에서 의미 있는 특징 집합을 효과적으로 추출할 수 있는가?
• RQ2 FP-Growth에서 유도된 특징을 사용할 경우 나기브 베이즈 분류기의 성능이 기존 특징 대비 어떻게 다를까?
• RQ3 연관 분석이 웹 문서 분류의 정확도와 효율성에 어느 정도 기여할 수 있는가?
• RQ4 Gensim 패키지는 이러한 하이브리드 분류 파이프라인을 구현하고 평가하는 데 적합한가?
• RQ5 FP-Growth와 같은 데이터 마이닝 기법의 통합이 텍스트 분류 과제에서 특징 표현을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 FP-Growth에서 유도된 빈도 높은 단어 집합을 특징으로 사용하여 웹 문서 분류에 효과적으로 활용된다.
• 연관 분석을 활용함으로써 의미적으로 관련성이 높은 단어 패턴을 식별할 수 있었으며, 이는 분류 성능 향상에 기여했다.
• FP-Growth가 생성한 특징 집합에 적용된 나기브 베이즈 분류기는 신뢰할 수 있는 분류 결과를 도출하였다.
• Gensim 패키지는 분류 파이프라인을 구현하는 데 있어 강력하고 실용적인 도구로 입증되었다.
• 이 방법은 유망한 결과를 보이며 저비용이고 자동화된 웹 문서 분류 솔루션을 제공한다.
• 이 연구는 연관 분석이 텍스트 분류에서 전통적인 특징 추출 방식에 비해 유의미한 대안이 될 수 있음을 확인하였다.