[論文レビュー] Matching Tweets With Applicable Fact-Checks Across Languages

Ashkan Kazemi, Zehua Li+3 more|arXiv (Cornell University)|Feb 14, 2022

Misinformation and Its Impacts被引用数 5

ひとこと要約

本稿では、分類と検索の両手法を用いて、既存の事実確認情報とソーシャルメディアのツイートを照合する多言語アプローチを提案する。ツイート-事実確認ペアの分類において平均86.28%の正確度を達成し、文脈的に単語の頻度に基づくBM25が単言語検索において多言語埋め込みを上回ることを確認した。一方、LaBSEは多言語間設定で優れた性能を示し、ヒンディ語と英語のような言語間で効果的な多言語事実確認照合を可能にした。

ABSTRACT

An important challenge for news fact-checking is the effective dissemination of existing fact-checks. This in turn brings the need for reliable methods to detect previously fact-checked claims. In this paper, we focus on automatically finding existing fact-checks for claims made in social media posts (tweets). We conduct both classification and retrieval experiments, in monolingual (English only), multilingual (Spanish, Portuguese), and cross-lingual (Hindi-English) settings using multilingual transformer models such as XLM-RoBERTa and multilingual embeddings such as LaBSE and SBERT. We present promising results for "match" classification (86% average accuracy) in four language pairs. We also find that a BM25 baseline outperforms or is on par with state-of-the-art multilingual embedding models for the retrieval task during our monolingual experiments. We highlight and discuss NLP challenges while addressing this problem in different languages, and we introduce a novel curated dataset of fact-checks and corresponding tweets for future research.

研究の動機と目的

• 既存の事実確認情報を自動的に関連するソーシャルメディア投稿に紐付けることで、効率的な拡散を図ること。
• 多言語および多言語間設定において、事前に確認済みの主張を特定する信頼性の高い手法を開発すること。
• 手動の事実確認のスケーラビリティとカバレッジを向上させるために、ツイートに該当する事実確認を自動的に検索可能にする。
• 今後の研究のための、英語、スペイン語、ポルトガル語、ヒンディ語の多言語（ツイート-事実確認ペア）を収集した新しいデータセットを提供すること。

提案手法

• ツイートと事実確認ペアが一致するかどうかを判断するため、XLM-RoBERTaに基づく二値分類モデルを訓練する。
• 検索のため、LaBSE、SBERT、MPNet-SBERTの文の埋め込みを用い、ツイートと事実確認の表現間のコサイン類似度を計算する。
• 検索のベースラインとしてBM25を適用し、事実確認の全文と段落レベルのスニペットの両方を用いる。
• 多言語間照合は、ヒンディ語のツイートと英語の事実確認を用いて評価し、主に多言語埋め込みモデルとしてLaBSEを用いる。
• 標準的な情報検索指標（MAP@KおよびMRR）を用いて、複数の言語ペアにおける性能を評価する。
• 単言語および多言語設定を比較し、言語や入力長の制約に対するモデルの挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 XLM-RoBERTaのような多言語トランスフォーマーモデルは、複数の言語間でツイートと事実確認ペアが一致するかどうかを効果的に分類できるか？
• RQ2 BM25は、最先端の多言語文の埋め込みモデル（LaBSE、MPNet-SBERT）を上回る性能を単語レベルのツイート-事実確認検索で示せるか？
• RQ3 LaBSE や MPNet-SBERT といった多言語埋め込みモデルは、ヒンディ語のツイートと英語の事実確認の間で、多言語間の事実確認検索においてどれほど効果的か？
• RQ4 埋め込みモデルの入力長制限（例：512トークン）は、BM25と比較して検索性能にどの程度影響を与えるか？
• RQ5 特化した多言語埋め込みモデルは、汎用モデルを上回る性能を発揮し、事実確認照合の検索性能を向上させられるか？

主な発見

• XLM-RoBERTaベースの二値分類器は、4つの言語ペアで平均86.28%の正確度を達成し、英語-英語ペアで最高で89%を記録した。
• BM25は、単語レベルの検索において、最先端の多言語埋め込みモデル（LaBSE、MPNet-SBERT）を上回るか、同等の性能を示し、全文事実確認のMAP@50で53.15%を達成した。
• ポルトガル語では、段落レベルのBM25システムが、すべての埋め込みモデルを10ポイント以上のMAP@1および9.5ポイント以上のMRRで上回った。
• 多言語間（ヒンディ語のツイート、英語の事実確認）検索において、LaBSEは最良のBM25ベースラインを7.5ポイント以上のMAP@1で上回り、優れたゼロショット多言語間能力を示した。
• 入力長の制限にもかかわらず、LaBSEは多言語設定で優れた性能を示し、BM25およびMPNet-SBERTを上回った。
• 本研究では、512トークンの制限により全文事実確認検索の性能が制限される問題を克服するため、Longformerのような長文書向け多言語埋め込みモデルの開発が求められると判明した。