[論文レビュー] ReINTEL: A Multimodal Data Challenge for Responsible Information Identification on Social Network Sites

Duc-Trong Le, Xuan-Son Vu+9 more|arXiv (Cornell University)|Dec 16, 2020

Topic Modeling参考文献 29被引用数 9

ひとこと要約

本論文は、テキスト、画像、メタデータの特徴を備えた人間がアノテートした10,007件のSNS投稿を含む、ベトナム語SNSにおける信頼できるニュースと信頼できないニュースを検出するためのマルチモーダル共同課題ReINTELを紹介する。このチャレンジでは、プライベートテストでAUC-ROCスコア0.9521を達成し、NLPおよびコンピュータビジョン技術を用いた低リソース環境におけるマルチモーダルフェイクニュース検出のベンチマークを確立した。

ABSTRACT

This paper reports on the ReINTEL Shared Task for Responsible Information Identification on social network sites, which is hosted at the seventh annual workshop on Vietnamese Language and Speech Processing (VLSP 2020). Given a piece of news with respective textual, visual content and metadata, participants are required to classify whether the news is `reliable' or `unreliable'. In order to generate a fair benchmark, we introduce a novel human-annotated dataset of over 10,000 news collected from a social network in Vietnam. All models will be evaluated in terms of AUC-ROC score, a typical evaluation metric for classification. The competition was run on the Codalab platform. Within two months, the challenge has attracted over 60 participants and recorded nearly 1,000 submission entries.

研究の動機と目的

• SNS上での信頼できない情報の拡散が深刻化する状況、特にCovid-19パンデミック期における問題に対処すること。
• テキスト、画像、メタデータのマルチモーダルデータを用いた、ベトナム語SNSに特化したフェイクニュース検出の信頼性のあるベンチマークを構築すること。
• 今後のマルチモーダルフェイクニュース検出および責任ある情報同定に関する研究を支援するため、大規模かつ人間がアノテートしたデータセットを提供すること。
• 同じデータセットを用いて、標準化された評価フレームワークのもとで、多様な機械学習モデルの評価と比較を行うこと。

提案手法

• データセットは、ベトナム語SNS（例：Facebook、Zalo）およびベトナムの新聞から収集され、2020年3月から6月までの期間、Covid-19のインフォデミック期に焦点を当てた。
• 23名の訓練済みアノテーターが、信頼性について5段階リッカート尺度を用いてアノテートを行い、最終的な二値ラベル（0: 信頼できる、1: 信頼できない）はコンSENSUSに基づいて導出された。
• アノテーションツールには、情報源の信頼性、事実の正確性、言語的適切性に関するガイドラインが組み込まれており、アノテーター間の一貫性を確保した。
• 参加者は、テキスト、画像、メタデータ（例：いいね、シェア、コメント）の特徴を用いて、ニュースが信頼できるか、信頼できないかを分類するモデルを構築することが求められた。
• チャレンジはCodalabで開催され、主評価指標としてAUC-ROCが使用された。トレーニングセット（8,000例）とテストセット（2,000件のラベルなし例）が用意された。
• モデルは、ID、信頼できないと予測される確率の形式でトレーニングおよび提出され、scikit-learnのROC-AUC実装を用いて真値ラベルと照合された。

実験結果

リサーチクエスチョン

• RQ1 テキスト、画像、メタデータを統合したマルチモーダルアプローチは、ベトナム語SNSにおける信頼できないニュース検出にどの程度効果的か？
• RQ2 トランスファー学習モデル（例：phoBERT、RoBERTa、ViT）は、低リソース言語環境下でニュース信頼性を分類する際にどの程度のパフォーマンスを示すか？
• RQ3 アンサンブル手法や特徴工学（例：TF-IDF、SVD、メタ特徴）は、この分類タスクにおけるAUC-ROCスコアをどの程度向上させるか？
• RQ4 マルチモーダル環境下で、視覚的特徴は信頼できるニュースと信頼できないニュースを区別するためにどの程度貢献するか？
• RQ5 Covid-19パンデミックのような高リスクイベント期における、ベトナム語SNSにおける誤情報検出の主な課題とパフォーマンスのトレンドは何か？

主な発見

• 最良のモデルはプライベートテストセットでAUC-ROCスコア0.9521を達成し、マルチモーダルフェイクニュース検出において優れたパフォーマンスを示した。
• 最高のパブリックテストAUC-ROCスコアは0.9427であり、参加者モデルの間で優れた一般化性能が確認された。
• 全参加者の平均AUC-ROCは0.8703であり、コンテスト全体で一貫したモデルパフォーマンスが確認された。
• 上位6チームがアンサンブル手法を採用しており、モデルスタッキングが信頼性検出のパフォーマンス向上に寄与していることが示された。
• 最良のチーム（Kurtosis）は、TF-IDF、SVD、勾配ブースティング木（LightGBM、CatBoost）の組み合わせを用いており、従来のNLPおよびテーブル特徴工学の価値が浮き彫りになった。
• 唯一のマルチモーダルアプローチを採用したチーム（Toyo-Aime）は、CNN、BERT、全結合層を統合したが、視覚言語統合の潜在的価値にもかかわらず、その採用は限定的であった。