[論文レビュー] The 2021 Urdu Fake News Detection Task using Supervised Machine Learning and Feature Combinations

Muhammad Humayoun|arXiv (Cornell University)|Apr 6, 2022

Misinformation and Its Impacts被引用数 5

ひとこと要約

本論文は、ハイブリッドn-gram特徴量（単語n-gramと文字n-gram）と言語的前処理を用いた教師あり機械学習アプローチを提示し、ウルドゥー語のフェイクニュース検出を実現する。最良の性能を示したモデルは、ストップワード除去、語彙還元、特徴量選択を施した多項式カーネルSVMであり、F1マクロスコア0.6674を達成し、すべての競合エントリーより優れており、2021年時点でウルドゥー語フェイクニュース検出の新たなSOTA（最先端）結果を樹立した。

ABSTRACT

This paper presents the system description submitted at the FIRE Shared Task: "The 2021 Fake News Detection in the Urdu Language". This challenge aims at automatically identifying Fake news written in Urdu. Our submitted results ranked fifth in the competition. However, after the result declaration of the competition, we managed to attain even better results than the submitted results. The best F1 Macro score achieved by one of our models is 0.6674, higher than the second-best score in the competition. The result is achieved on Support Vector Machines (polynomial kernel degree 1) with stopwords removed, lemmatization applied, and selecting the 20K best features out of 1.557 million features in total (which were produced by Word n-grams n=1,2,3,4 and Char n-grams n=2,3,4,5,6). The code is made available for reproducibility.

研究の動機と目的

• 低リソース言語であるウルドゥー語におけるフェイクニュース検出のための効果的な教師あり機械学習システムの開発。
• ストップワード除去と語彙還元といったさまざまな言語的前処理技術が、フェイクニュース検出性能に与える影響の評価。
• 検出精度を最大化するために最適な単語n-gramと文字n-gram特徴量の組み合わせの特定。
• FIRE 2021で実施されたウルドゥー語フェイクニュース検出共有タスクにおいて、最先端のパフォーマンスを達成すること。
• 今後の研究を支援するため、コードをオープンソース化して再現性を確保すること。

提案手法

• システムは、ウルドゥー語ニュース記事からのテキスト特徴量抽出のため、n=1～4の単語n-gramとn=2～6の文字n-gramの組み合わせを用いる。
• テキスト前処理には、語彙の多様性を低減し特徴量の質を向上させるためにストップワードの除去と語彙還元が実施される。
• 特徴量選択にはグリーディーなアプローチが用いられ、全155万7千個の候補特徴量から上位20,000個の情報量の多い特徴量が選択される。
• 主な分類器として、多項式カーネル（次数1）を用いたサポートベクターマシン（SVM）が使用される。
• モデルは、F1マクロスコアなどの標準指標を用いて、FIRE 2021共有タスクデータセット上で訓練および評価される。
• 最終的なモデル構成は、複数の特徴量および前処理の組み合わせにおける交差検証とパフォーマンス比較に基づき選定される。

実験結果

リサーチクエスチョン

• RQ1 ウルドゥー語におけるフェイクニュース検出に最適なn-gram特徴量（単語n-gramと文字n-gram）の組み合わせは何か？
• RQ2 ストップワード除去や語彙還元といった前処理技術は、ウルドゥー語における教師ありフェイクニュース検出モデルのパフォーマンスにどのように影響を与えるか？
• RQ3 低リソース言語としてのウルドゥー語フェイクニュース検出の文脈において、多項式カーネルSVMが他の分類器を上回ることができるか？
• RQ4 教師あり学習と特徴量工学を用いた場合、FIRE 2021ウルドゥー語フェイクニュース検出ベンチマークで達成可能な上限パフォーマンスは何か？
• RQ5 F1マクロスコアの観点から、最終モデルは共有タスクにおける他の提出物と比較してどのように差がつくか？

主な発見

• 最良のパフォーマンスを示したモデルは、F1マクロスコア0.6674を達成し、コンテストにおける2番目に高いスコアを上回った。
• 語彙還元とストップワード除去を施した多項式カーネルSVM（次数1）が、全テスト構成の中で最高のパフォーマンスを示した。
• 全155万7千個の特徴量から20,000個に特徴量選択することで、モデルの効率性とパフォーマンスが顕著に向上した。
• 単語n-gram（n=1～4）と文字n-gram（n=2～6）の両方の組み合わせが、ウルドゥー語テキストにおける意味的および屈曲的パターンを捉える上で不可欠であった。
• 最終モデルは、FIRE 2021共有タスクにおけるすべての提出エントリを上回り、ウルドゥー語フェイクニュース検出分野における新たなSOTA（最先端）結果を樹立した。
• 本システムのコードは、再現性と今後の低リソースNLP分野の研究を支援するため、公開された。