[論文レビュー] Fishing for Clickbaits in Social Images and Texts with Linguistically-Infused Neural Network Models

Maria Glenski, Ellyn Ayton+2 more|arXiv (Cornell University)|Oct 17, 2017

Misinformation and Its Impacts参考文献 18被引用数 20

ひとこと要約

本稿では、ツイート本文、関連記事の内容、偏りのある言語の言語的マークアップを用いて、SNS投稿のクリックベイト度を予測する言語的要因を組み込んだニューラルネットワークモデルを提案する。最良のモデルは、Clickbait Challenge 2017のテストセットで平均二乗誤差（MSE）0.04、決定係数（R²）0.43を達成し、他のアーキテクチャーや特徴量の組み合わせを上回ったが、画像特徴量は性能向上に顕著な寄与を示さなかった。

ABSTRACT

This paper presents the results and conclusions of our participation in the Clickbait Challenge 2017 on automatic clickbait detection in social media. We first describe linguistically-infused neural network models and identify informative representations to predict the level of clickbaiting present in Twitter posts. Our models allow to answer the question not only whether a post is a clickbait or not, but to what extent it is a clickbait post e.g., not at all, slightly, considerably, or heavily clickbaity using a score ranging from 0 to 1. We evaluate the predictive power of models trained on varied text and image representations extracted from tweets. Our best performing model that relies on the tweet text and linguistic markers of biased language extracted from the tweet and the corresponding page yields mean squared error (MSE) of 0.04, mean absolute error (MAE) of 0.16 and R2 of 0.43 on the held-out test data. For the binary classification setup (clickbait vs. non-clickbait), our model achieved F1 score of 0.69. We have not found that image representations combined with text yield significant performance improvement yet. Nevertheless, this work is the first to present preliminary analysis of objects extracted using Google Tensorflow object detection API from images in clickbait vs. non-clickbait Twitter posts. Finally, we outline several steps to improve model performance as a part of the future work.

研究の動機と目的

• 0–1スケールの連続値として、SNS投稿におけるクリックベイト度を回帰モデルで予測すること。
• 偏った言語の言語的手がかりを統合することで、標準的なテキスト表現を上回るクリックベイト検出性能が向上するかを検討すること。
• TensorFlow Object Detection API を用いて抽出した画像特徴量が、クリックベイト予測性能に与える寄与を評価すること。
• 異なるニューラルネットワークアーキテクチャ（CNN、LSTM）と入力の組み合わせ（ツイート本文、記事本文、言語的マーカー）を比較し、最適な予測性能を達成する方法を評価すること。
• クリックベイト強度の異なる投稿における視覚的コンテンツ（画像内の物体）に顕著なパターンが存在するかを特定すること。

提案手法

• ツイート本文および関連記事の内容から表現を学ぶために、双方向LSTMおよびCNNアーキテクチャを活用した。
• 自然言語処理リソースを用いて、ツイートおよび記事本文から偏った言語のマーカー（例：不確実性、誇張）を抽出した。
• テキスト表現と言語的手がかりを統合し、回帰モデリング用の統合入力ベクトルを作成した。
• 画像から物体ラベルを抽出するために、TensorFlow Object Detection API を使用した。
• 2,000件および20,000件のラベル付きデータセットを用いてモデルを学習し、MSE、MAE、R² を用いて保留された2,000件のテストセットで評価した。
• クラスの不均衡への対処法を適用したが、それほど徹底的ではなかった。今後の方向性として、視覚的・意味的埋め込みおよびテキスト類似度メトリクスの活用を検討した。

実験結果

リサーチクエスチョン

• RQ1 テキストおよび言語的手がかりに基づいて学習したニューラルネットワークモデルは、従来の手作業による特徴量よりも、SNS投稿のクリックベイト度をより正確に予測できるか？
• RQ2 偏った言語のマーカー（例：曖昧表現、誇張）は、クリックベイト検出性能を顕著に向上させるか？
• RQ3 ツイート内の画像から抽出した視覚的特徴量は、クリックベイト予測にどの程度貢献するか？
• RQ4 異なるニューラルネットワークアーキテクチャ（LSTM 対 CNN）は、連続的なクリックベイトスコアの予測において、どのように性能を発揮するか？
• RQ5 高得点と低得点のクリックベイト投稿における画像内の物体構成（例：食品、車両）に顕著な差が認められるか？

主な発見

• 最良のモデルは、ツイート本文およびツイートと記事両方の言語的マーカーを用いたLSTMアーキテクチャであり、テストセットで平均二乗誤差（MSE）0.04を達成した。
• 同じモデルは決定係数（R²）0.43を達成し、連続的なクリックベイト強度の予測において中程度の予測能力を示した。
• バイナリ分類（クリックベイト対非クリックベイト）において、F1スコア0.69を達成し、良好な識別能力を示した。
• 画像ベースの特徴量は、TensorFlow Object Detection API を用いて抽出されたが、テキストのみのモデルに比べて顕著な性能向上を示さなかった。
• クリックベイト投稿の画像には、食品、家電、食器関連の物体の割合が高く、非クリックベイト投稿の画像には車両やスポーツ関連の物体がより多く見られ、クリックベイトスコアが高くなるにつれて食品および電子機器関連の物体が増加する傾向が見られた。
• 本研究では、物体の分布がクリックベイト強度に有意に相関しており、今後のモデルにおいて視覚的手がかりが有用である可能性が示された。