[論文レビュー] Factorization of Fact-Checks for Low Resource Indian Languages

Shivangi Singhal, Rajiv Ratn Shah+1 more|arXiv (Cornell University)|Feb 23, 2021

Misinformation and Its Impacts参考文献 22被引用数 5

ひとこと要約

本稿では、ヒンディー語、ベンガル語、タミル語、ウルドゥー語を含む11の地方言語をカバーする、低リソースなインド言語向けの最初の大規模な多言語事実確認データセットFactDRILを紹介する。全22,435件のサンプルを含み、事実確認のための段階的論理を記録する独自の「調査推論（investigation_reasoning）」属性を備え、英語以外のインドの文脈におけるフェイクニュースの検出と自動化を向上させる。

ABSTRACT

The advancement in technology and accessibility of internet to each individual is revolutionizing the real time information. The liberty to express your thoughts without passing through any credibility check is leading to dissemination of fake content in the ecosystem. It can have disastrous effects on both individuals and society as a whole. The amplification of fake news is becoming rampant in India too. Debunked information often gets republished with a replacement description, claiming it to depict some different incidence. To curb such fabricated stories, it is necessary to investigate such deduplicates and false claims made in public. The majority of studies on automatic fact-checking and fake news detection is restricted to English only. But for a country like India where only 10% of the literate population speak English, role of regional languages in spreading falsity cannot be undermined. In this paper, we introduce FactDRIL: the first large scale multilingual Fact-checking Dataset for Regional Indian Languages. We collect an exhaustive dataset across 7 months covering 11 low-resource languages. Our propose dataset consists of 9,058 samples belonging to English, 5,155 samples to Hindi and remaining 8,222 samples are distributed across various regional languages, i.e. Bangla, Marathi, Malayalam, Telugu, Tamil, Oriya, Assamese, Punjabi, Urdu, Sinhala and Burmese. We also present the detailed characterization of three M's (multi-lingual, multi-media, multi-domain) in the FactDRIL accompanied with the complete list of other varied attributes making it a unique dataset to study. Lastly, we present some potential use cases of the dataset. We expect this dataset will be a valuable resource and serve as a starting point to fight proliferation of fake news in low resource languages.

研究の動機と目的

• 英語以外の文脈で誤情報拡散を抑えるために不可欠な、低リソースなインド言語向けの大規模かつ多言語事実確認データセットの不足を解消すること。
• 既存の事実確認データセットが主に英語に偏っており、インドの言語的多様性を反映していないという限界を克服すること。
• 自動事実確認、誤情報検出、バイアス分析の分野における研究を支援する包括的かつアノテート済みのデータセットを提供すること。
• 事実確認者が使用する段階的論理を記録する画期的な「調査推論（investigation_reasoning）」機能を導入・検証し、事実確認プロセスの深い分析を可能にすること。
• インドのソーシャルメディアプラットフォームでフェイクニュースの変種が広がるのを抑えるための早期警戒システムおよび多言語NLPモデルの開発を可能にすること。

提案手法

• 11のIFCN認定インド事実確認サイトから、11の低リソースなインド言語で22,435件の事実確認済み主張をクロール・キュレートした。
• テキスト的主張、メディア（画像・動画）、ソーシャルメディアの文脈、イベントメタデータを含む、マルチモーダル・マルチドメイン・マルチリンガルデータを収集・構造化した。
• 事実確認者が主張を検証するために使用する中間的推論ステップを記録する画期的な「調査推論（investigation_reasoning）」属性を導入し、手作業でアノテートした。
• データセットの特徴を6つのカテゴリに分類した：メタ、テキスト、メディア、ソーシャル、イベント、著者特徴。これにより、主張の出どころと文脈の包括的分析が可能になった。
• 非構造化された事実確認レポートを一貫したラベル付けとともに構造的・機械可読形式に変換するためのシステマティックなデータ抽出パイプラインを用いた。
• 将来、NLP技術を用いて「調査推論（investigation_reasoning）」抽出を自動化し、データセットのスケーリングと下流アプリケーションの支援を図ることを計画している。

実験結果

リサーチクエスチョン

• RQ1 低リソースなインド言語向けに、大規模かつ多言語事実確認データセットをどのように構築できるか？
• RQ2 詳細な調査推論が、事実確認システムの解釈可能性および自動化をどのように向上させるか？
• RQ3 英語と比較して、インドの地方言語におけるフェイクニュースのパターンや分野（例：政治、健康、宗教）にどのような違いがあるか？
• RQ4 マルチモーダルおよびマルチドメイン特徴の組み込みが、低リソース環境におけるフェイクニュース検出モデルの性能をどの程度向上させるか？
• RQ5 さまざまな地方言語の事実確認サイトにおける事実確認実務に潜在するバイアスは何か？そして、構造化データを用いてそれらをどのように検出できるか？

主な発見

• FactDRILには、11の低リソースなインド言語で合計22,435件の事実確認済み主張が含まれており、英語が9,058件、ヒンディー語が5,155件、ベンガル語、マラーティー語、タミル語、ウルドゥー語などの地方言語が8,222件を占める。
• 本データセットには、LIARなどの既存データセットにない、事実確認者が使用する段階的論理を記録する画期的な「調査推論（investigation_reasoning）」属性が存在する。
• 政治分野のコンテンツがフェイクニュースの主要な分野であり、その後に健康・宗教分野が続く。2019年に急激なピークを記録し、2012年から2020年にかけて上行傾向が続く。
• データセットは、2017年ごろからインドの地方言語におけるフェイクニュースの拡散が勢いを増し始め、2018年以降に多言語コンテンツの急増が見られたことを明らかにしている。
• 本データセットは、ソーシャルメディアプラットフォームで否定済みコンテンツの変種を検出し、抑止するための早期警戒システムの開発を支援する。
• テキスト・画像・動画を含むマルチモーダルおよびマルチドメイン特徴の組み込みにより、低リソース言語環境における誤情報パターンのより強固なモデリングが可能になった。