[논문 리뷰] Hierarchical Text Classification of Urdu News using Deep Neural Network

Taimoor Ahmed Javed, Waseem Shahzad외 1명|arXiv (Cornell University)|2021. 07. 07.

Text and Document Classification Technologies참고 문헌 28인용 수 4

한 줄 요약

이 논문은 우르두어 뉴스에 대한 딥러닝 기반 계층적 텍스트 분류를 위해 새로운 우르두어 전용 계층적 LSTM 레이어와 Word2Vec 임베딩을 사용하는 계층적 다층 LSTM(HMLSTM) 모델을 제안한다. 새로 제작된 데이터셋에서 최신 기준 성능을 달성하여, 전통적 모델과 CNN보다 우수한 성능을 보이며, 마이크로-F1은 0.9683, 마크로-F1은 0.8927을 기록한다.

ABSTRACT

Digital text is increasing day by day on the internet. It is very challenging to classify a large and heterogeneous collection of data, which require improved information processing methods to organize text. To classify large size of corpus, one common approach is to use hierarchical text classification, which aims to classify textual data in a hierarchical structure. Several approaches have been proposed to tackle classification of text but most of the research has been done on English language. This paper proposes a deep learning model for hierarchical text classification of news in Urdu language - consisting of 51,325 sentences from 8 online news websites belonging to the following genres: Sports; Technology; and Entertainment. The objectives of this paper are twofold: (1) to develop a large human-annotated dataset of news in Urdu language for hierarchical text classification; and (2) to classify Urdu news hierarchically using our proposed model based on LSTM mechanism named as Hierarchical Multi-layer LSTMs (HMLSTM). Our model consists of two modules: Text Representing Layer, for obtaining text representation in which we use Word2vec embedding to transform the words to vector and Urdu Hierarchical LSTM Layer (UHLSTML) an end-to-end fully connected deep LSTMs network to perform automatic feature learning, we train one LSTM layer for each level of the class hierarchy. We have performed extensive experiments on our self created dataset named as Urdu News Dataset for Hierarchical Text Classification (UNDHTC). The result shows that our proposed method is very effective for hierarchical text classification and it outperforms baseline methods significantly and also achieved good results as compare to deep neural model.

연구 동기 및 목표

• 계층적 텍스트 분류를 위한 대규모이고 인간이 애너테이션한 데이터셋을 개발하기 위해, 12개의 클래스와 세 가지 장르(스포츠, 테크놀로지, 엔터테인먼트)를 포함한 51,325개 문장으로 구성된, '우르두 뉴스 계층적 텍스트 분류용 데이터셋(UNDHTC)'을 명명한다.
• 우르두어와 같은 저자원 언어로서 복잡한 형태학적 특성을 지닌 언어에 대해 계층적 텍스트 분류 연구의 부족을 해결한다.
• 원시 우르두어 텍스트에서 계층적 표현을 학습할 수 있는 딥 네트워크 모델을 설계하고 구현한다.
• 제안된 데이터셋에서 다양한 기준 기계학습 및 딥러닝 모델과의 성능 비교를 통해 모델의 성능을 평가한다.
• LSTM을 이용한 엔드 투 엔드 계층적 학습이 우르두어 텍스트의 장거리 의존성과 계층적 레이블 구조를 효과적으로 포착할 수 있음을 입증한다.

제안 방법

• 우르두어 단어를 연속적인 벡터 공간 내에서 조밀한 벡터 표현으로 변환하기 위해 Word2Vec 임베딩을 사용한다.
• 텍스트를 계층적 분류 구조의 각 수준에서 처리할 수 있는 완전히 연결된 딥 LSTM 네트워크인 새로운 우르두어 계층적 LSTM 레이어(UHLSTML)를 설계한다.
• 분류 계층의 각 수준에 대해 별도의 LSTM 레이어를 학습시켜 부모 및 자식 카테고리 간의 계층적 특징과 의존성을 학습한다.
• 텍스트 표현 레이어가 UHLSTML에 입력되어 텍스트 및 레이블 표현의 공동 최적화를 위한 엔드 투 엔드 학습 파이프라인을 구현한다.
• 예측을 각 수준에서 수행하고 계층을 따라 전파하는 계층적 다중 레이블 분류 프레임워크를 적용한다.
• 모든 클래스와 수준에서 성능을 평가하기 위해 마이크로-F1 및 마크로-F1과 같은 표준 평가 지표를 사용한다.

실험 결과

연구 질문

• RQ1 형태학적으로 복잡하고 자원이 제한된 언어인 우르두어의 특성 고려 시, 딥 네트워크 모델이 계층적 표현을 효과적으로 학습할 수 있는가?
• RQ2 제안된 HMLSTM 모델은 전통적 기계학습 모델(SVM, 랜덤 포레스트 등)과 딥러닝 기준 모델(CNN 등)과 비교해 우르두어 뉴스의 계층적 분류에서 어떻게 성능을 내는가?
• RQ3 플랫 분류 접근 방식과 비교했을 때, 모델의 계층적 구조가 분류 성능 향상에 얼마나 기여하는가?
• RQ4 스포츠, 테크놀로지, 엔터테인먼트 등 다양한 장르에서 우르두어 뉴스 도메인에서 모델의 일반화 능력은 얼마나 우수한가?
• RQ5 예를 들어 엔터테인먼트 뉴스에서 '배우'라는 단어가 스포츠 뉴스에서와 같은 의미로 해석될 수 있는 것처럼, 맥락적으로 모호한 키워드를 다루는 데에 모델의 한계는 무엇인가?

주요 결과

• HMLSTM 모델은 마이크로-F1 점수 0.9683을 기록하여, SVM(0.8878)과 로지스틱 회귀(0.8980)를 포함한 모든 기준 모델을 뛰어넘었다.
• HMLSTM은 마크로-F1 0.8927을 기록하여, 특히 세분화된 하위 카테고리에서 뛰어난 성능을 보였다.
• CNN(Micro-F1: 0.9323)과 모든 전통적 기계학습 모델보다도 성능이 뛰어나, 우르두어 텍스트 분류에 있어 계층적 LSTM의 효과성을 입증했다.
• 정성적 분석 결과, HMLSTM은 LSTM 유닛의 장기 기억 유지 기능 덕분에 긴 복잡한 문장을 정확히 분류하는 데 성공했다.
• 모델는 맥락적으로 모호한 용어(예: 엔터테인먼트 뉴스에서의 '배우')를 다루는 데 어려움을 겪었으며, 향후 연구에서 더 나은 맥락 모델링이 필요함을 시사했다.
• 결과적으로, 다중 수준의 LSTM을 통한 계층적 모델링이 플랫 분류 방법보다 레이블 상관관계와 구조적 의존성을 더 잘 포착할 수 있음을 확인했다.