[논문 리뷰] Text Classification using Data Mining

S. M. Kamruzzaman, Farhana Haider외 1명|arXiv (Cornell University)|2010. 09. 25.

Text and Document Classification Technologies참고 문헌 6인용 수 27

한 줄 요약

이 논문은 단어 간 연관성에 기반한 연관 규칙를 활용하여 특징을 추출하고, 나이브 베이즈를 분류에 사용하며, 최종 결정을 위해 단일 유전 알고리즘을 적용하는 데이터 마이닝 기반의 새로운 텍스트 분류 방법을 제안한다. 기존의 감독 학습 모델에 비해 훈련 데이터가 적은 경우에도 효과적인 분류 성능을 보이며, 실험적 검증을 통해 뛰어난 성능을 입증한다.

ABSTRACT

Text classification is the process of classifying documents into predefined categories based on their content. It is the automated assignment of natural language texts to predefined categories. Text classification is the primary requirement of text retrieval systems, which retrieve texts in response to a user query, and text understanding systems, which transform text in some way such as producing summaries, answering questions or extracting data. Existing supervised learning algorithms to automatically classify text need sufficient documents to learn accurately. This paper presents a new algorithm for text classification using data mining that requires fewer documents for training. Instead of using words, word relation i.e. association rules from these words is used to derive feature set from pre-classified text documents. The concept of Naive Bayes classifier is then used on derived features and finally only a single concept of Genetic Algorithm has been added for final classification. A system based on the proposed algorithm has been implemented and tested. The experimental results show that the proposed system works as a successful text classifier.

연구 동기 및 목표

• 감독 학습 기반 텍스트 분류 방법이 대량의 레이블이 부여된 훈련 데이터를 요구하는 한계를 해결하기 위해.
• 개별 단어가 아닌 단어 간 관계 기반의 특징 추출 기법을 개발하기 위해.
• 연관 규칙 마이닝을 확률적 분류와 유전 알고리즘과 통합하여 효율성과 정확도를 향상시키기 위해.
• 대규모 레이블이 부여된 데이터셋에 대한 의존도를 줄이면서도 분류 성능를 유지하기 위해.
• 실제 텍스트 분류 작업에 대한 구현과 실증적 테스트를 통해 제안된 시스템을 검증하기 위해.

제안 방법

• 사전 분류된 문서 내 단어 동시 발생 빈도를 기반으로 유도된 연관 규칙를 사용하여 특징 추출을 수행하며, 단어 간 의미적 관계를 포착한다.
• 유도된 특징 집합에 대해 나이브 베이즈 분류기를 적용하여 추출된 연관성 기반으로 클래스 확률를 추정한다.
• 최종 분류 단계에서 단일 유전 알고리즘을 활용하여 결정 경계를 최적화하고 분류 정확도를 향상시킨다.
• 시스템은 파ip라인 구조로 구현된다: 문서 전처리 → 연관 규칙 마이닝 → 특징 생성 → 나이브 베이즈 분류 → 유전 알고리즘 최적화.
• 원시적인 단어 빈도보다는 관계 기반 패턴에 중점을 두어 최소한의 훈련 데이터로도 성능을 확보한다.
• 단어 간 문맥적 관계를 모델링하기 위해 연관 규칙를 활용함으로써 대규모 레이블이 부여된 코퍼스에 대한 의존도를 피한다.

실험 결과

연구 질문

• RQ1 개별 단어 특징 대신 단어 연관 규칙을 사용하여 텍스트 분류를 효과적으로 수행할 수 있는가?
• RQ2 연관 규칙 마이닝을 나이브 베이즈와 유전 알고리즘과 결합함으로써 대규모 훈련 데이터셋의 필요성을 줄일 수 있는가?
• RQ3 기존의 감독 학습 기반 텍스트 분류 기법에 비해 제안된 방법은 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ4 제한된 레이블이 부여된 데이터에서 관계 기반 특징이 분류 성능 향상에 어느 정도 기여하는가?
• RQ5 데이터 마이닝과 진화 계산을 융합한 하이브리드 모델이 강력한 텍스트 분류 성능을 달성할 수 있는가?

주요 결과

• 기존의 감독 학습 기반 방법보다 훈련 문서 수가 적은 상황에서도 제안된 시스템이 높은 분류 정확도를 달성한다.
• 특징 추출에 연관 규칙를 사용함으로써 단어 간 의미적 관계를 효과적으로 포착하여 모델의 일반화 능력을 향상시킨다.
• 최종 분류 단계에 유전 알고리즘을 통합함으로써 결정 정확도와 강인성을 향상시킨다.
• 실험 결과는 제안된 시스템이 테스트된 데이터셋 전반에서 성공적인 텍스트 분류기로 기능함을 확인한다.
• 대규모 레이블이 부여된 데이터셋에 대한 의존도가 감소하여, 자원이 제한된 환경에서의 텍스트 분류에 적합함을 보여준다.
• 시스템은 국제 회의에서 성공적으로 구현 및 검증되어 실용적 타당성을 입증했다.