[논문 리뷰] Supervised learning Methods for Bangla Web Document Categorization

Ashis Kumar Mandal, Rikta Sen|arXiv (Cornell University)|2014. 10. 08.

Text and Document Classification Technologies참고 문헌 21인용 수 8

한 줄 요약

이 논문은 자체 제작한 반골라 어 코퍼스를 사용하여 반골라 웹 문서 분류를 위한 네 가지 지도 학습 방법—결정 트리(C4.5), K-최근접 이웃(KNN), 나이브 베이즈(NB), 서포트 벡터 머신(SVM)—을 평가한다. 결과적으로 SVM가 다른 방법들보다 뛰어나며, 특히 고차원적이고 노이즈가 많은 특성 벡터에서 강력한 성능을 보여, 반골라 텍스트 분류 작업에 매우 효과적임을 입증한다.

ABSTRACT

This paper explores the use of machine learning approaches, or more specifically, four supervised learning Methods, namely Decision Tree(C 4.5), K-Nearest Neighbour (KNN), Naïve Bays (NB), and Support Vector Machine (SVM) for categorization of Bangla web documents. This is a task of automatically sorting a set of documents into categories from a predefined set. Whereas a wide range of methods have been applied to English text categorization, relatively few studies have been conducted on Bangla language text categorization. Hence, we attempt to analyze the efficiency of those four methods for categorization of Bangla documents. In order to validate, Bangla corpus from various websites has been developed and used as examples for the experiment. For Bangla, empirical results support that all four methods produce satisfactory performance with SVM attaining good result in terms of high dimensional and relatively noisy document feature vectors.

연구 동기 및 목표

• 다양한 기계 학습 방법을 평가하여 반골라 텍스트 분류 분야에서 지도 학습 연구의 부족을 보완하고자 한다.
• 학습 및 테스트 분류 모델를 위해 도메인 특화된 반골라 웹 문서 코퍼스를 개발하고 활용하고자 한다.
• 네 가지 기존의 지도 학습 알고리즘의 반골라 텍스트 데이터에서의 성능을 비교하고자 한다.
• 고차원적이고 노이즈가 많은 특성 벡터를 처리하는 데 가장 효과적인 방법을 특정하고자 한다.
• 향후 반골라 자연어 처리 분야 연구를 위한 검증된 벤치마크를 기여하고자 한다.

제안 방법

• C4.5 결정 트리, K-최근접 이웃(KNN), 나이브 베이즈(NB), 서포트 벡터 머신(SVM)의 네 가지 지도 학습 알고리즘을 반골라 텍스트 분류에 적용하였다.
• 다양한 웹사이트에서 수집한 자료를 바탕으로 자체 제작한 반골라 웹 문서 코퍼스를 구축하여 학습 및 테스트 데이터로 활용하였다.
• 텍스트 전처리 과정에는 반골라 언어의 문자 및 형태소적 특성에 맞춘 토큰화와 특성 추출 기법이 포함되었다.
• 문서 벡터는 백오브워즈 또는 유사한 표현 기법을 사용하여 텍스트를 수치적 특성으로 변환하였다.
• 분류 모델은 코퍼스를 기반으로 학습되었으며, 정확도, 정밀도, 재현율과 같은 표준 지표를 사용하여 평가되었다.
• 특성 차원과 노이즈 수준의 변화에 따라 모델 성능을 비교하기 위한 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 어느 지도 학습 방법이 반골라 웹 문서 분류에서 가장 높은 정확도를 달성하는가?
• RQ2 C4.5, KNN, NB, SVM 네 가지 방법이 고차원적이고 노이즈가 많은 반골라 텍스트 특성 벡터에서 어떻게 성능을 내는가?
• RQ3 영어어 기반 설정과 비교했을 때 알고리즘 선택이 반골라 텍스트 분류 성능에 미치는 영향은 어느 정도인가?
• RQ4 자체 제작한 반골라 코퍼스는 지도 학습을 통한 문서 분류 지원에 얼마나 효과적인가?
• RQ5 SVM은 반골라 텍스트 분류에서 특성 노이즈와 차원 수 증가에 대해 뛰어난 강건성을 보여주는가?

주요 결과

• 서포트 벡터 머신(SVM)이 반골라 웹 문서 분류에서 네 가지 방법 중 가장 높은 성능을 기록하였다.
• SVM는 특히 고차원적이고 상대적으로 노이즈가 많은 문서 특성 벡터에서 강력한 강건성과 효과성을 보였다.
• 나이브 베이즈(NB)와 K-최근접 이웃(KNN)은 만족스럽지만 SVM에 비해 성능이 떨어졌다.
• C4.5 결정 트리 방법은 적절한 성능를 보였지만, 주어진 반골라 코퍼스에서는 SVM에 비해 성능이 열등했다.
• 실험 결과는 적절한 특성 공학을 통해 지도 학습 방법이 반골라 텍스트 분류에 효과적으로 적용될 수 있음을 확인하였다.
• 본 연구는 테스트 조건 하에서 SVM이 반골라 웹 문서 분류에 가장 적합한 알고리즘이라는 것을 입증하였다.