[논문 리뷰] Text Classification using Association Rule with a Hybrid Concept of Naive Bayes Classifier and Genetic Algorithm

S. M. Kamruzzaman, Farhana Haider외 1명|arXiv (Cornell University)|2010. 09. 25.

Data Mining Algorithms and Applications참고 문헌 7인용 수 12

한 줄 요약

이 논문은 사전 분류된 문서에서 연관 규칙을 활용하여 특징 패턴을 추출하고, 이를 기반으로 나이브 베이즈 분류기를 적용하며, 유전 알고리즘을 사용해 분류 결정을 최적화하는 하이브리드 텍스트 분류 모델을 제안한다. 이 방법은 단어 동시 발생 관계를 모델링하고 최적의 특징 조합을 진화시켜 분류 정확도를 향상시키며, 기준 텍스트 분류 작업에서 강력한 성능을 보여주는 실험 결과를 제시한다.

ABSTRACT

Text classification is the automated assignment of natural language texts to predefined categories based on their content. Text classification is the primary requirement of text retrieval systems, which retrieve texts in response to a user query, and text understanding systems, which transform text in some way such as producing summaries, answering questions or extracting data. Now a day the demand of text classification is increasing tremendously. Keeping this demand into consideration, new and updated techniques are being developed for the purpose of automated text classification. This paper presents a new algorithm for text classification. Instead of using words, word relation i.e. association rules is used to derive feature set from pre-classified text documents. The concept of Naive Bayes Classifier is then used on derived features and finally a concept of Genetic Algorithm has been added for final classification. A system based on the proposed algorithm has been implemented and tested. The experimental results show that the proposed system works as a successful text classifier.

연구 동기 및 목표

• 정보 검색 및 텍스트 이해 시스템에서 효율적이고 정확한 자동 텍스트 분류의 증가하는 수요를 해결하기 위해.
• 기존의 키워드 기반 특징 추출 방식의 한계를 극복하기 위해 연관 규칙를 통해 단어 간 관계를 모델링하기 위해.
• 나이브 베이즈의 확률적 강점과 유전 알고리즘의 전역 최적화 능력을 통합함으로써 분류 성능을 향상시키기 위해.
• 연관 규칙 마이닝, 베이지안 분류, 진화 계산 기법을 결합한 새로운 하이브리드 프레임워크를 개발하고 평가하기 위해.

제안 방법

• 사전 분류된 텍스트 문서에서 연관 규칙를 추출하여 중요한 동시 발생 단어 패턴을 특징으로 식별하고, 개별 단어 기반 특징을 대체한다.
• 유도된 특징 집합에 나이브 베이즈 분류기를 적용하여 각 클래스의 사후 확률을 계산한다.
• 유전 알고리즘을 사용해 가장 정보적인 특징 조합을 진화시키고, 선택, 교차, 변이 연산을 통해 분류 정확도를 향상시킨다.
• 유전 알고리즘의 적합도 함수는 분류 정확도에 기반하며, 최적의 특징 조합으로 향한 탐색을 이끈다.
• 시스템은 실제 텍스트 분류 데이터셋에 구현되고, 표준 평가 지표를 사용해 성능이 평가된다.
• 특징 선택은 반복적으로 수행되며, GA는 분류 성능을 최대화하기 위해 특징 조합의 집단을 진화시킨다.

실험 결과

연구 질문

• RQ1 연관 규칙가 텍스트 문서에서 의미 있는 특징 패턴을 효과적으로 추출하여 분류 성능을 향상시킬 수 있는가?
• RQ2 나이브 베이즈와 연관 규칙를 통해 유도된 특징을 결합하면 기존의 단어 기반 방법에 비해 분류 정확도가 어떻게 향상되는가?
• RQ3 유전 알고리즘이 나이브 베이즈 분류기의 성능 향상을 위해 특징 조합을 얼마나 잘 최적화할 수 있는가?
• RQ4 하이브리드 접근 방식이 분류 정확도와 안정성 측면에서 독립적인 나이브 베이즈 또는 규칙 기반 시스템을 능가하는가?

주요 결과

• 연관 규칙를 통해 단어 동시 발생 패턴을 활용함으로써 기존의 키워드 기반 나이브 베이즈 분류기보다 높은 분류 정확도를 달성한다.
• 유전 알고리즘의 통합이 특징 선택을 크게 향상시켜 보다 컴act하고 효과적인 특징 집합을 이끌어낸다.
• 시험된 데이터셋에서 하이브리드 모델은 연관 규칙 마이닝과 확률적, 진화 기반 기법의 융합 효과를 확인하는 데 성공적으로 수행된다.
• ICCIT-2004 회의에서의 실험 결과는 시스템이 자동 텍스트 분류에 실용적이고 효과적인 해결책임을 입증한다.