[論文レビュー] Text Classification for Azerbaijani Language Using Machine Learning and Embedding

Umid Suleymanov, Behnam Kiani Kalejahi+2 more|arXiv (Cornell University)|Dec 26, 2019

Text and Document Classification Technologies被引用数 5

ひとこと要約

この論文は、低リソース言語向けの自然言語処理ツールの不足を補うために、機械学習モデルと単語埋め込みを用いたアゼルバイジャン語向けのテキスト分類システムを提案する。独自に構築したデータセット上でナイーブベイズ、SVM、決定木を評価し、TF-IDFとWord2Vec埋め込みを用いたSVMが最も高い正確性を達成した。これにより、ニュースの自動分類、感情分析、スパムフィルタリングにおける自動分類の実現可能性が示された。

ABSTRACT

Text classification systems will help to solve the text clustering problem in the Azerbaijani language. There are some text-classification applications for foreign languages, but we tried to build a newly developed system to solve this problem for the Azerbaijani language. Firstly, we tried to find out potential practice areas. The system will be useful in a lot of areas. It will be mostly used in news feed categorization. News websites can automatically categorize news into classes such as sports, business, education, science, etc. The system is also used in sentiment analysis for product reviews. For example, the company shares a photo of a new product on Facebook and the company receives a thousand comments for new products. The systems classify the comments into categories like positive or negative. The system can also be applied in recommended systems, spam filtering, etc. Various machine learning techniques such as Naive Bayes, SVM, Decision Trees have been devised to solve the text classification problem in Azerbaijani language.

研究の動機と目的

• 自然言語処理ツールが乏しいアゼルバイジャン語向けに、特化したテキスト分類システムを開発すること。
• 機械学習と埋め込み技術を応用することで、アゼルバイジャン語における自動テキストクラスタリングおよび分類のギャップを埋めること。
• スポーツ、ビジネス、教育などの事前に定義されたカテゴリにアゼルバイジャン語テキストを分類するための複数の機械学習モデルの有効性を評価すること。
• ニュースフィードの分類、製品レビューの感情分析、スパムフィルタリングといった実世界の応用におけるシステムの実用性を検討すること。

提案手法

• システムは、スポーツ、ビジネス、教育、科学、政治などのクラスに手動で分類されたアゼルバイジャン語テキストの独自データセットを用いる。
• テキスト前処理には、アゼルバイジャン語に特化したトークン化、ストップワード除去、語形還元が行われる。
• 特徴抽出には、テキストデータを数値的に表現するためのTF-IDFとWord2Vec埋め込みが用いられる。
• ナイーブベイズ、SVM、決定木といった機械学習分類器が、前処理済みデータ上で訓練および評価される。
• モデルの性能は、正確性、適合率、再現率、F1スコアといった標準的な指標を用いて評価される。
• 交差検証とハイパーパramータチューニングを経て、最も優れた性能を示すモデルが選定される。

実験結果

リサーチクエスチョン

• RQ1 伝統的な機械学習モデルは、TF-IDFとWord2Vec埋め込みを用いて、アゼルバイジャン語テキストを効果的に分類できるか？
• RQ2 ナイーブベイズ、SVM、決定木のうち、どの機械学習アルゴリズムがアゼルバイジャン語テキスト分類で最も高い分類正確性を達成するか？
• RQ3 特徴表現手法（TF-IDF対比Word2Vec）の違いが、アゼルバイジャン語テキスト分類におけるモデル性能にどのように影響するか？
• RQ4 提案されたシステムは、ニュース分類や感情分析といった実用的応用において、どの程度実現可能か？

主な発見

• SVMは評価されたモデルの中で最も高い分類正確性を示し、ナイーブベイズおよび決定木を上回った。
• TF-IDFとWord2Vec埋め込みの組み合わせにより、単独で使用する場合と比較して、モデルの汎化性能と性能が向上した。
• ナイーブベイズは中程度の性能を示したが、特にアゼルバイジャン語の複雑な文構造に対処する能力がSVMに劣った。
• システムは、自動ニュースフィード分類や製品レビューの感情分類といった実世界の応用において、実用的であることが示された。
• 適切な前処理および埋め込み戦略を用いることで、機械学習ベースのテキスト分類が、アゼルバイジャン語のような低リソース言語に対しても実現可能であることが確認された。