[論文レビュー] Hierarchical Text Classification of Urdu News using Deep Neural Network

Taimoor Ahmed Javed, Waseem Shahzad+1 more|arXiv (Cornell University)|Jul 7, 2021

Text and Document Classification Technologies参考文献 28被引用数 4

ひとこと要約

本稿では、新しいデータセットを用いて、ウルドゥー語ニュースのディープラーニングベースの階層的テキスト分類のための階層的マルチレイヤーLSTM（HMLSTM）モデルを提案する。独自に開発したウルドゥー語固有の階層的LSTM層とWord2Vec埋め込みを用い、最先端の性能を達成した。Micro-F1は0.9683、Macro-F1は0.8927を記録した。

ABSTRACT

Digital text is increasing day by day on the internet. It is very challenging to classify a large and heterogeneous collection of data, which require improved information processing methods to organize text. To classify large size of corpus, one common approach is to use hierarchical text classification, which aims to classify textual data in a hierarchical structure. Several approaches have been proposed to tackle classification of text but most of the research has been done on English language. This paper proposes a deep learning model for hierarchical text classification of news in Urdu language - consisting of 51,325 sentences from 8 online news websites belonging to the following genres: Sports; Technology; and Entertainment. The objectives of this paper are twofold: (1) to develop a large human-annotated dataset of news in Urdu language for hierarchical text classification; and (2) to classify Urdu news hierarchically using our proposed model based on LSTM mechanism named as Hierarchical Multi-layer LSTMs (HMLSTM). Our model consists of two modules: Text Representing Layer, for obtaining text representation in which we use Word2vec embedding to transform the words to vector and Urdu Hierarchical LSTM Layer (UHLSTML) an end-to-end fully connected deep LSTMs network to perform automatic feature learning, we train one LSTM layer for each level of the class hierarchy. We have performed extensive experiments on our self created dataset named as Urdu News Dataset for Hierarchical Text Classification (UNDHTC). The result shows that our proposed method is very effective for hierarchical text classification and it outperforms baseline methods significantly and also achieved good results as compare to deep neural model.

研究の動機と目的

• 階層的テキスト分類のための大規模かつ人手でアノテートされたデータセットを構築すること。その名をウルドゥー語階層的テキスト分類用ニュースデータセット（UNDHTC）とし、スポーツ、テクノロジー、エンタメの3ジャンルに分類され、合計51,325文、12クラスを含む。
• ウルドゥー語は熟語的構造が複雑で言語資源が限られている低リソース言語であるが、階層的テキスト分類に関する研究が不足しているという問題に取り組むこと。
• 生のウルドゥー語テキストから階層的表現を学習可能なディープニューラルネットワークモデルを設計・実装し、分類精度の向上を図ること。
• 提案されたデータセット上で、複数のベースライン機械学習およびディープラーニングモデルと比較して、モデルの性能を評価すること。
• LSTMを用いたエンドツーエンドの階層的学習が、ウルドゥー語テキストにおける長距離依存関係および階層的ラベル構造を効果的に捉えられることを示すこと。

提案手法

• ウルドゥー語の単語を連続的ベクトル空間内での密なベクトル表現に変換するために、Word2Vec埋め込みを採用する。
• テキストを階層的クラス構造の各レベルで処理できる、新規のウルドゥー語階層的LSTM層（UHLSTML）を設計する。これは完全に接続された深層LSTMネットワークである。
• クラス階層の各レベルに対して個別のLSTM層を訓練し、親カテゴリと子カテゴリ間の階層的特徴および依存関係を学習する。
• テキスト表現層がUHLSTMLに入力され、テキスト表現とラベル表現の両方を共同最適化するエンドツーエンドのトレーニングパイプラインを実装する。
• 予測を各レベルで行い、階層構造に沿って伝搬する階層的マルチラベル分類フレームワークを採用する。
• 全クラスおよび全レベルにおける性能を評価するために、Micro-F1およびMacro-F1といった標準的な評価指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 熟語的構造が複雑でリソースが限られるウルドゥー語において、言語の特徴を考慮した深層ニューラルネットワークモデルが、階層的表現を効果的に学習できるか？
• RQ2 提案されたHMLSTMモデルは、従来の機械学習モデル（例：SVM、ランダムフォレスト）およびディープラーニングベースライン（例：CNN）と比較して、ウルドゥー語ニュースの階層的分類においてどのように性能を発揮するか？
• RQ3 フラット分類アプローチと比較して、モデルの階層的構造が分類性能にどの程度寄与するか？
• RQ4 スポーツ、テクノロジー、エンタメの異なるジャンルにおいて、モデルの一般化性能はどの程度高いか？
• RQ5 『俳優』（actor）といった語がエンタメニュースとスポーツニュースで文脈的に曖昧な場合、モデルはどのように対処できるか？

主な発見

• HMLSTMモデルはMicro-F1スコア0.9683を達成し、SVM（0.8878）やロジスティック回帰（0.8980）を含むすべてのベースラインモデルを大きく上回った。
• HMLSTMはMacro-F1 0.8927を記録し、特に細分化されたサブカテゴリにおいても優れた性能を示した。
• CNN（Micro-F1: 0.9323）およびすべての従来の機械学習モデルを上回り、ウルドゥー語テキスト分類において階層的LSTMの有効性を実証した。
• 定性的な分析から、LSTMユニットによる長期記憶の保持のおかげで、長く複雑な文を正しく分類できたことが明らかになった。
• 文脈的に曖昧な語（例：エンタメニュースにおける『俳優』）の処理に苦労したため、今後の研究では文脈モデリングの向上が求められる。
• 結果から、マルチレベルLSTMによる階層的モデリングが、フラット分類手法に比べてラベル相関関係や構造的依存関係をより効果的に捉えられることを確認した。