[論文レビュー] A Multi-Modal Method for Satire Detection using Textual and Visual Cues

Lily Li, Or Levi+2 more|arXiv (Cornell University)|Oct 13, 2020

Humor Studies and Applications参考文献 13被引用数 10

ひとこと要約

本稿では、視覚的・言語的統合理解に適したViLBERTと画像改ざん検出技術を組み合わせたマルチモーダル・サリューディション検出モデルを提案する。10,000件のニュース見出しとサムネイルから構成される新規データセットにおいて、単一モodalや単純な統合ベースラインを上回り、98.03%のF1スコアを達成した。この結果は、視覚的・言語的推論を統合的に処理することで、テキストのみまたは画像のみの手法に比べてサリューディション検出性能が著しく向上することを示している。

ABSTRACT

Satire is a form of humorous critique, but it is sometimes misinterpreted by readers as legitimate news, which can lead to harmful consequences. We observe that the images used in satirical news articles often contain absurd or ridiculous content and that image manipulation is used to create fictional scenarios. While previous work have studied text-based methods, in this work we propose a multi-modal approach based on state-of-the-art visiolinguistic model ViLBERT. To this end, we create a new dataset consisting of images and headlines of regular and satirical news for the task of satire detection. We fine-tune ViLBERT on the dataset and train a convolutional neural network that uses an image forensics technique. Evaluation on the dataset shows that our proposed multi-modal approach outperforms image-only, text-only, and simple fusion baselines.

研究の動機と目的

• フェイクニュースが本物のニュースと誤認され、誤情報が広がる問題が増加するのを是正するため。
• 視覚的手がかり、特に画像改ざんがテキストベースの手法に比べてサリューディション検出をどのように改善できるかを調査するため。
• サリューディション検出研究のための、見出しとサムネイルを含む10,000件のニュース記事（うち6,000件が事実、4,000件がサリューディカル）からなる新規マルチモーダルデータセットを構築するため。
• 特に事前学習済みの視覚言語モデル（例：ViLBERT）を用いたマルチモーダル統合手法の有効性を評価するため。

提案手法

• 著者らは、主要メディアや有名なサリューディカル・ウェブサイトを含む10の信頼できる出典から、10,000件のニュース記事（うち6,000件が事実、4,000件がサリューディカル）の新規データセットを構築した。
• 視覚言語BERT（ViLBERT）モデルをデータセット上で微調整し、視覚的・言語的特徴を共同で処理できる共注意力メカニズムを備えたトランスフォーマー・アーキテクチャを活用した。
• 追加で、エッジ強化ラプラシアン・オブ・ガウスィアン（ELA）前処理と畳み込みニューラルネットワーク（CNN）を用いたELA+CNNモデルを、画像改ざんを検出する目的で訓練した。
• ViLBERTの性能を、単一モーダルベースライン（テキスト用BERT BASE、画像用ResNet-101およびELA+CNN）および単純統合手法（平均化統合および連結統合）と比較した。
• 視覚的および言語的表現が注意計算中に相互に干渉できるように、共注意力層を介した早期で深い統合（early, deep fusion）を採用した。
• データセットは訓練・検証・テストに分割され、評価には正解率、F1スコア、AUC-ROC指標が用いられた。

実験結果

リサーチクエスチョン

• RQ1 視覚的手がかり、特に画像改ざんが、テキスト分析のみに依存する手法に比べて、サリューディカル・ニュースの検出をどのように改善できるか？
• RQ2 事前学習済みの視覚言語モデル（例：ViLBERT）を用いたマルチモーダルアプローチが、単一モーダルや単純な統合手法に比べてサリューディション検出で優れた性能を発揮するか？
• RQ3 ELAのような画像フォレンジックス技術は、サリューディカル・ニュースのサムネイルにおいて改ざんをどの程度検出できるか？
• RQ4 一部のサリューディカルまたは事実のニュース記事がモデルによって誤分類される理由は何か？主な失敗モードは何か？

主な発見

• ViLBERTは98.03%のF1スコアを達成し、次に高い性能を示したBERT BASE（93.80% F1）を著しく上回った。
• 画像のみのモデルであるELA+CNNは、ランダムチョイスよりも悪い成績（44.20%正答率）を示し、これは画像の再保存や圧縮によって検出可能な誤差パターンが減少するためと考えられる。
• 単純統合手法（平均化および連結）は、BERT BASEに比べて僅かに性能向上を示したにとどまり、早期で深い統合が、後期統合や要素単位の統合よりも優れていることを示唆している。
• 誤分類分析から、主に3つの失敗モードが特定された：比喩的表現（例：見出しにおける「burst」）の誤解、政治的知識の欠如（例：非現実的な政治的対比を認識できない）、真実でも奇妙な内容と捏造された内容の区別がつかない。
• 画像が改ざんされていなくても、比喩的表現を含む見出しではモデルが困難を示したため、言語のニュアンスを正しく理解できないという制限があることが示された。
• ELA+CNNの性能が低かったにもかかわらず、本研究は、画像フォレンジックスが、特に画像が重度に圧縮されていない場合、深いマルチモーダル学習と組み合わせることで価値ある情報源となり得ることを確認した。