[論文レビュー] Textual misinformation on Reddit

Nakamura, Kai, Levy, Sharon+1 more|arXiv (Cornell University)|Nov 10, 2019

Misinformation and Its Impacts参考文献 19被引用数 58

ひとこと要約

本研究は Reddit からの大規模な多模態偽情報データセット Fakeddit を提案し、2-way・3-way・6-way の細粒度ラベルを付与し、多モーダルのテキスト+画像モデルが偽情報検出を改善することを実証する。

ABSTRACT

Fake news has altered society in negative ways in politics and culture. It has adversely affected both online social network systems as well as offline communities and conversations. Using automatic machine learning classification models is an efficient way to combat the widespread dissemination of fake news. However, a lack of effective, comprehensive datasets has been a problem for fake news research and detection model development. Prior fake news datasets do not provide multimodal text and image data, metadata, comment data, and fine-grained fake news categorization at the scale and breadth of our dataset. We present Fakeddit, a novel multimodal dataset consisting of over 1 million samples from multiple categories of fake news. After being processed through several stages of review, the samples are labeled according to 2-way, 3-way, and 6-way classification categories through distant supervision. We construct hybrid text+image models and perform extensive experiments for multiple variations of classification, demonstrating the importance of the novel aspect of multimodality and fine-grained classification unique to Fakeddit.

研究の動機と目的

• 既存の偽情報データセットの限界を、細粒度ラベルを持つ大規模な多模態データセットを提供することで克服する。
• テキスト、画像、ソーシャルメディアのメタデータを利用した頑健な偽情報検出器の開発を可能にする。
• 異なるラベル粒度に対する分類性能におけるマルチモーダリティの影響を評価する。
• コメントとメタデータを用いた暗黙の事実確認や潜在的な下流アプリケーションへの洞察を提供する。

提案手法

• Reddit からテキスト、画像、コメント、メタデータを含む大規模な多模態データセットを構築し、遠隔監視ラベリングでラベリングする。
• 各サンプルに対して 2-way、3-way、6-way の偽情報ラベルを提供し、バイナリおよび細粒度分類をサポートする。
• InferSent と BERTを用いてテキスト埋め込みを抽出; VGG16, ResNet50, EfficientNetを用いて画像特徴を抽出。
• 学習可能な密結合層と結合戦略（加算、連結、最大、平均）を用いてテキストと画像の特徴を統合する。
• Hyperband でハイパーパラメータを調整し、隠れ層のサイズと学習率を最適化; 検証用およびテスト分割で結果を報告する。
• 2-way、3-way、6-way の分類に対して、テキストのみ、画像のみ、および多模態（テキスト+画像）の構成を評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルデータ（テキストと画像）は、テキストのみまたは画像のみのベースラインと比べて偽情報検出性能にどのような影響を与えるか？
• RQ2 細粒度（2-way、3-way、6-way）ラベリングは検出精度にどのような影響を与えるか？
• RQ3 Reddit のサブレディットからの遠隔監視によって、大規模偽情報データセットの信頼できるラベルを得ることができるか？
• RQ4 異なる画像/テキスト特徴抽出子と融合戦略を用いた場合、マルチモーダル偽情報分類の性能はどうなるか？

主な発見

組み合わせ方法	2-way検証	2-wayテスト	3-way検証	3-wayテスト	6-way検証	6-wayテスト
Maximum (BERT+ResNet50)	0.8929	0.8909	0.8905	0.8890	0.8600	0.8588

• マルチモーダルモデル（テキスト+画像）は、2-way、3-way、6-way のタスクを通じて、テキストのみおよび画像のみのベースラインを上回る。
• 最大融合法を用いて BERT テキスト特徴と ResNet50 画像特徴を組み合わせた場合、全体的に最強の性能を達成し、6-way の精度は分割に応じて約 0.859–0.889 の範囲。
• テキスト特徴は一般に画像特徴だけより強い信号を示し、両方を組み合わせると最良の結果を得られる。
• データセットは 1,063,106 サンプルを含み、偽情報 628,501 件、真情報 527,049 件、さらに 682,996 件のマルチモーダルサンプルを含む。
• 品質保証と遠隔監視はノイズを導入するが、大規模な多模态データのラベリングにスケーラブルなアプローチを提供する。