[論文レビュー] QMUL-SDS at CheckThat! 2020: Determining COVID-19 Tweet Check-Worthiness Using an Enhanced CT-BERT with Numeric Expressions

Rabab Alkhalifa, Theodore Yoong+3 more|arXiv (Cornell University)|Aug 30, 2020

Misinformation and Its Impacts参考文献 14被引用数 9

ひとこと要約

本論文では、COVID-Twitter-BERT (CT-BERT) と数値表現の特別なトークン化を組み合わせたCNNベースのモデルを提示し、COVID-19関連ツイートの検証価値検出を向上させることを目的としている。最良のシステムはCLEF 2020 CheckThat!共同課題で4位を達成し、数値表現を特別トークンとして扱うことで性能が著しく向上することが示された。一方、PHEMEから得たリーマルを用いたデータ拡張により汎化性能が向上したが、全体のF1スコアに変化はなかった。

ABSTRACT

This paper describes the participation of the QMUL-SDS team for Task 1 of the CLEF 2020 CheckThat! shared task. The purpose of this task is to determine the check-worthiness of tweets about COVID-19 to identify and prioritise tweets that need fact-checking. The overarching aim is to further support ongoing efforts to protect the public from fake news and help people find reliable information. We describe and analyse the results of our submissions. We show that a CNN using COVID-Twitter-BERT (CT-BERT) enhanced with numeric expressions can effectively boost performance from baseline results. We also show results of training data augmentation with rumours on other topics. Our best system ranked fourth in the task with encouraging outcomes showing potential for improved results in the future.

研究の動機と目的

• 誤情報の拡散を防ぐために、検証が必要なCOVID-19関連ツイートを特定・優先順位付けするシステムを開発すること。
• 数値表現の処理を強化したBERTベースの埋め込みを用いて、検証価値検出の性能を向上させること。
• 外部のリーマルデータセット（PHEMEなど）を用いたデータ拡張が、モデルの汎化性能および性能に与える影響を評価すること。
• 特に数値表現のトークン化を含む前処理戦略の選択が、未学習のテストデータに対するモデルの頑健性に与える影響を分析すること。
• 関連タスク（例：リーマル検出）を活用することで、検証価値分類の性能が向上するかを調査すること。

提案手法

• モデルは、ツイートの文脈的表現を取得するために微調整済みのCOVID-Twitter-BERT (CT-BERT) を使用する。
• 数値表現は、モデルの汎化性能を高め、主張関連のパターンを捉えるために特別トークン <number> に置換される。
• 1次元畳み込みニューラルネットワーク（CNN）が文脈的埋め込みを処理し、ツイートが検証価値があるかを分類する。
• 3つのモデルバリアントを訓練した：完全なトークン化を適用したモデル、数値表現のみをトークン化したモデル、PHEMEリーマルデータセットからの拡張訓練データを用いたモデル。
• 外部データとしてPHEMEから得たデータを訓練セットに追加し、未学習のトピックへの汎化性能を向上させることを目的とした。
• モデル選択は開発セットでの性能に基づき、上位3つのモデルが公式テストセットに提出された。

実験結果

リサーチクエスチョン

• RQ1 数値表現を特別トークンとして扱うことで、BERTベースのモデルがCOVID-19ツイートの検証価値検出性能を向上させられるか？
• RQ2 異なるドメインの外部リーマルデータセット（例：PHEME）を用いたデータ拡張により、検証価値検出モデルの汎化性能が向上するか？
• RQ3 前処理の選択、特に数値表現のトークン化が、未学習のテストデータに対するモデル性能と汎化性能に与える影響は何か？
• RQ4 異なるBERT埋め込みやモデルアーキテクチャは、リソースが限られた環境下での検証価値検出にどの程度貢献するか？
• RQ5 関連するが異なるタスク（例：リーマル検出）から得たデータを検証価値分類システムに統合する際、ドメインシフトの影響は何か？

主な発見

• 数値表現のみを <number> にトークン化したCT-BERTを用いた最良のモデルは、平均平均適合率（MAP）0.78を達成し、CLEF 2020共同課題で4位となった。
• 完全なトークン化（句読点も含む）を適用したモデル1はMAP 0.71を記録し、最小限の前処理がより汎化可能なパターンを保持していることを示唆した。
• PHEMEデータセットのリーマルを用いた訓練データ拡張を施したモデル3は、開発セットの性能が低くてもテストセットでベースラインを上回った。これは、汎化性能が向上したことを示している。
• 数値表現のトークン化がモデル性能を著しく向上させ、すべての上位モデルでk=1, 3, 5, 10における精度が1.00に達した。
• PHEMEからのリーマルを用いたデータ拡張により、R-適合率（0.63 → 0.70）とprecision@50（0.64 → 0.68）が向上し、長尾性能が改善された。
• 特定の指標の向上は見られたが、元の訓練セットにPHEMEデータを組み合わせても、全体のF1またはMAPに顕著な向上は認められなかった。これは、ドメインやタスクの不一致が転移可能性を制限している可能性を示唆している。