[논문 리뷰] Text Classification using Artificial Intelligence

S. M. Kamruzzaman|arXiv (Cornell University)|2010. 09. 25.

Text and Document Classification Technologies참고 문헌 3인용 수 13

한 줄 요약

이 논문은 인공지능을 활용한 텍스트 분류 접근법을 제안하며, 개별 단어 대신 단어 연관성(연관 규칙)을 특징으로 사용함으로써 학습 데이터 요구량을 줄인다. 분류에 나이브 베이즈를, 최종 결정에 유전 알고리즘을 적용하여 레이블이 부여된 문서 수를 최소화하면서도 효과적인 성능을 달성하였으며, 구현 및 테스트를 통해 검증되었다.

ABSTRACT

Text classification is the process of classifying documents into predefined categories based on their content. It is the automated assignment of natural language texts to predefined categories. Text classification is the primary requirement of text retrieval systems, which retrieve texts in response to a user query, and text understanding systems, which transform text in some way such as producing summaries, answering questions or extracting data. Existing supervised learning algorithms for classifying text need sufficient documents to learn accurately. This paper presents a new algorithm for text classification using artificial intelligence technique that requires fewer documents for training. Instead of using words, word relation i.e. association rules from these words is used to derive feature set from pre-classified text documents. The concept of naïve Bayes classifier is then used on derived features and finally only a single concept of genetic algorithm has been added for final classification. A system based on the proposed algorithm has been implemented and tested. The experimental results show that the proposed system works as a successful text classifier.

연구 동기 및 목표

• 기존의 감독 학습 텍스트 분류에서 대량의 레이블이 부여된 데이터셋이 필요로 하는 문제를 해결하기 위해.
• 개별 어휘가 아닌 어휘 간 관계를 활용하여 광범위한 학습 데이터에 대한 의존도를 줄이기 위해.
• 연관 규칙, 나이브 베이즈, 유전 알고리즘을 통합한 하이브리드 분류 모델을 개발하여 효율성을 향상시키기 위해.
• 제안된 방법이 낮은 데이터 환경에서의 타당성과 효과성을 평가하기 위해.

제안 방법

• 사전 분류된 텍스트 문서에서 연관 규칙를 추출하여 어휘 동시 발생 패턴 기반의 고수준 특징을 유도한다.
• 유도된 연관 규칙를 나이브 베이즈 분류기의 입력 특징으로 사용하여 문서 분류를 수행한다.
• 최종 분류 결정을 최적화하기 위해 유전 알고리즘을 적용하여 정확도와 강건성을 향상시킨다.
• 하이브리드 아키텍처를 구현하여 연관 규칙가 특징 공간을 형성하고, 나이브 베이즈가 확률적 분류를 수행하며, 유전 알고리즘이 출력을 정밀하게 보정한다.
• 원시 어휘 빈도 대신 의미적 관계에 중점을 두고, 최소한의 레이블이 부여된 문서로 시스템을 학습시킨다.
• 기본 데이터셋을 대상으로 시스템을 구현하고 실증 테스트를 통해 검증하였다.

실험 결과

연구 질문

• RQ1 개별 단어 대신 단어 연관성을 사용함으로써 훈련 문서 수를 크게 줄일 수 있는가?
• RQ2 나이브 베이즈와 유전 알고리즘을 통합한 하이브리드 모델이 낮은 데이터 환경에서 분류 정확도를 어떻게 향상시키는가?
• RQ3 텍스트에서 파생된 연관 규칙가 기존의 백오프워즈 모델 대비 특징 표현 능력을 어느 정도 향상시키는가?
• RQ4 유전 알고리즘의 통합이 텍스트 분류 파이프라인의 최종 분류 결정을 어떻게 향상시키는가?
• RQ5 제안된 방법이 레이블이 제한된 실세계 텍스트 분류 과제에 대해 확장 가능하고 효과적인가?

주요 결과

• 기존의 감독 학습 접근 방식에 비해 훨씬 적은 수의 훈련 문서로도 효과적인 텍스트 분류를 달성하였다.
• 연관 규칙를 특징으로 사용함으로써 입력 데이터의 표현 능력이 향상되어 덜 많은 데이터로도 더 나은 일반화 성능을 달성할 수 있었다.
• 유전 알고리즘의 통합으로 결정 경계를 최적화함으로써 최종 분류 정확도가 향상되었다.
• 다양한 분류 범주에 걸쳐 뛰어난 성능을 보이며 강력한 일반화 능력을 입증하였다.
• 실험 결과, 하이브리드 모델이 낮은 데이터 환경에서 베이스라인 방법을 능가함을 확인하여 효율성과 효과성을 검증하였다.