[論文レビュー] Overview of the Shared Task on Fake News Detection in Urdu at FIRE 2020

Maaz Amjad, Butt, Sabur+4 more|arXiv (Cornell University)|Jul 11, 2022

Misinformation and Its Impacts被引用数 4

ひとこと要約

本論文は、FIRE 2021で開催されたウルドゥー語におけるフェイクニュース検出の第2回共同課題を紹介するもので、5つのドメインにまたがる1,300件のアノテート済みニュース記事からなるデータセットを特徴としている。最良のパフォーマンスを示したシステムは、線形SVMとSGD最適化を用いたもので、F1-macroスコア0.679を達成し、深層ニューラルネットワークを上回り、この低リソース言語タスクにおいて古典的手法の有効性を示している。

ABSTRACT

Automatic detection of fake news is a highly important task in the contemporary world. This study reports the 2nd shared task called UrduFake@FIRE2021 on identifying fake news detection in Urdu. The goal of the shared task is to motivate the community to come up with efficient methods for solving this vital problem, particularly for the Urdu language. The task is posed as a binary classification problem to label a given news article as a real or a fake news article. The organizers provide a dataset comprising news in five domains: (i) Health, (ii) Sports, (iii) Showbiz, (iv) Technology, and (v) Business, split into training and testing sets. The training set contains 1300 annotated news articles -- 750 real news, 550 fake news, while the testing set contains 300 news articles -- 200 real, 100 fake news. 34 teams from 7 different countries (China, Egypt, Israel, India, Mexico, Pakistan, and UAE) registered to participate in the UrduFake@FIRE2021 shared task. Out of those, 18 teams submitted their experimental results, and 11 of those submitted their technical reports, which is substantially higher compared to the UrduFake shared task in 2020 when only 6 teams submitted their technical reports. The technical reports submitted by the participants demonstrated different data representation techniques ranging from count-based BoW features to word vector embeddings as well as the use of numerous machine learning algorithms ranging from traditional SVM to various neural network architectures including Transformers such as BERT and RoBERTa. In this year's competition, the best performing system obtained an F1-macro score of 0.679, which is lower than the past year's best result of 0.907 F1-macro. Admittedly, while training sets from the past and the current years overlap to a large extent, the testing set provided this year is completely different.

研究の動機と目的

• ウルドゥー語における自動フェイクニュース検出を進める。ウルドゥー語は自然言語処理リソースが限られている低リソース言語である。
• 研究コミュニティが多様なNLP技術を用いてウルドゥー語のフェイクニュースを特定する有効な手法を開発するよう促進する。
• 訓練および評価用に利用可能な、1,300件のアノテート済みウルドゥー語ニュース記事を含む、複数ドメインにまたがる公開データセットを提供する。
• 伝統的な機械学習モデルと最新の深層学習および事前学習トランスフォーマーモデルの、ウルドゥー語フェイクニュース検出におけるパフォーマンスを比較する。
• 低リソース環境下での特徴工学とモデルアーキテクチャ選択の有効性を調査する。

提案手法

• 課題は、ニュース記事を「本物」または「フェイク」と分類する二値テキスト分類問題として定式化された。
• 5つのドメイン（健康、スポーツ、エンタメ、テクノロジー、ビジネス）から成る、1,300件のトレーニングおよび300件のテスト記事からなるデータセットが構築された。
• 本物のニュースはBBCウルドゥー新聞やCNNウルドゥーなど信頼できる出典から収集されたが、フェイクニュースは本物の誤情報に模倣するように専門的に作成された。
• 参加者は、bag-of-words（BoW）、ワードエムベッディング、およびBert、RoBERTa、MuRIL、RoBERTa-urdu-smallなどの事前学習された文脈的モデルを含む多様な技術を用いた。
• アンサンブル手法、CNN、さまざまな機械学習モデル（例：SVM、SVC）が使用され、最良のシステムはStochastic Gradient Descentで最適化された線形SVMを用いた。
• 評価はF1-macro、精度、再現率、正答率に基づき、クラスごとおよび全体の結果が報告された。

実験結果

リサーチクエスチョン

• RQ1 低リソースのウルドゥー語において、伝統的手法の機械学習モデルと深層ニューラルネットワークのフェイクニュース検出性能はどのように比較されるか？
• RQ2 多言語型とウルドゥー語固有の事前学習言語モデルを用いることで、フェイクニュース検出のパフォーマンスにどのような影響があるか？
• RQ3 この低リソース環境下で、手作業による特徴量が、エンドツーエンドのニューラル表現を上回る程度はどの程度か？
• RQ4 本年の課題のように、あるフェイクニュースセットで学習したモデルが、完全に異なるテストセットに一般化できるか？
• RQ5 データ品質とドメイン多様性は、ウルドゥー語のフェイクニュース検出システムのパフォーマンスにどのような役割を果たすか？

主な発見

• 最良のパフォーマンスを示したシステムはF1-macroスコア0.679を達成したが、前年の共同課題の0.907に比べ顕著に低い水準であった。
• 前年と同様にトレーニングデータに重複はあったが、テストセットは完全に新しいものであり、データ分布の変化または難易度の上昇を示唆している。
• トップシステムはStochastic Gradient Descentで最適化された線形SVMを用いており、BERT や RoBERTa よりも優れた性能を示した。
• SVMを用いた古典的手法の特徴ベースモデルは、エンドツーエンドのニューラルネットワークや文脈埋め込み表現よりも優れたパフォーマンスを示した。
• すべてのシステムの平均F1-macroスコアは0.553で、標準偏差は0.093であり、パフォーマンスに顕著なばらつきがあることを示している。
• 18チーム中11チームが技術レポートを提出したが、これは2020年のエディションに比べ顕著な増加であり、研究関心と参加意欲の高まりを示している。