[論文レビュー] Identifying Clickbait: A Multi-Strategy Approach Using Neural Networks

Vaibhav Kumar, Dhruv Khattar+3 more|arXiv (Cornell University)|Oct 4, 2017

Misinformation and Its Impacts参考文献 17被引用数 19

ひとこと要約

本稿では、テキストに注意機構を組み込んだ双方向LSTM、テキスト類似度のためのシameseネットワーク、画像・テキスト整合性のための視覚的シameseネットワークを統合したマルチストラテジー深層学習モデルを提案する。このモデルは、19,538件のソーシャルメディアデータセット上でF1スコア65.37％を達成し、エンドツーエンド学習によりテキスト的および視覚的特徴を活用することで、先行する最先端手法を上回った。

ABSTRACT

Online media outlets, in a bid to expand their reach and subsequently increase revenue through ad monetisation, have begun adopting clickbait techniques to lure readers to click on articles. The article fails to fulfill the promise made by the headline. Traditional methods for clickbait detection have relied heavily on feature engineering which, in turn, is dependent on the dataset it is built for. The application of neural networks for this task has only been explored partially. We propose a novel approach considering all information found in a social media post. We train a bidirectional LSTM with an attention mechanism to learn the extent to which a word contributes to the post's clickbait score in a differential manner. We also employ a Siamese net to capture the similarity between source and target information. Information gleaned from images has not been considered in previous approaches. We learn image embeddings from large amounts of data using Convolutional Neural Networks to add another layer of complexity to our model. Finally, we concatenate the outputs from the three separate components, serving it as input to a fully connected layer. We conduct experiments over a test corpus of 19538 social media posts, attaining an F1 score of 65.37% on the dataset bettering the previous state-of-the-art, as well as other proposed approaches, feature engineering or otherwise.

研究の動機と目的

• オンラインメディアにおけるクリックバイトの増加する問題に対処し、見出しにおける内容の過剰な約束によってユーザーを誤導する問題を解決すること。
• 従来の特徴工学の枠組みを越えて、ディープラーニングとマルチモーダルデータを活用してクリックバイト検出を向上させること。
• テキスト的、視覚的、意味的類似度特徴を統合した統一された検出フレームワークに統合すること。
• 大規模なソーシャルメディアデータセット上で、F1スコアおよび正答率において既存の最先端手法を上回ること。
• 注意機構とシameseネットワークの有効性が、クリックバイト信号の微細な特徴を捉えるのにどの程度寄与するかを検証すること。

提案手法

• 双方向LSTMに注意機構を組み合わせたモデルが、記事の見出しの単語および文字レベルの埋め込みを処理し、クリックバイトスコアに寄与する差分的な単語の貢献度を学習する。
• シameseニューラルネットワークが、Doc2Vec埋め込みを用いて、記事の見出しとそのターゲット説明文との間の意味的類似度を計算する。
• 視覚的シameseネットワークが、VGG-19から抽出された画像埋め込みと、ターゲット説明文のDoc2Vec表現との類似度を測定する。
• 画像埋め込みは事前学習済みのVGG-19モデルを用いて抽出され、テキスト埋め込みと互換性を持つ300次元に変換される。
• テキスト的、テキスト類似度、視覚的類似度の3つのコンポonentの出力を連結し、最終的なクリックバイト分類のための全結合層に供給する。
• モデルは、バッチサイズ256、Adam最適化法、バイナリクロスエントロピー損失関数を用いて学習され、ハイパーパrameterは4:1の訓練・検証分割で調整された。

実験結果

リサーチクエスチョン

• RQ1 テキスト、画像、意味的類似度を統合したマルチモーダルディープラーニング手法は、従来の特徴工学手法を上回るのか？
• RQ2 注意機構の統合は、クリックバイトスコアに寄与する重要な語を効果的に捉えるのにどの程度有効か？
• RQ3 見出しとコンテンツ、または画像の間の類似度をモデル化することで、シameseネットワークはクリックバイト検出をどの程度向上させるのか？
• RQ4 視覚的特徴を組み込むことで、純粋にテキストに依存するモデルと比較して、検出性能が顕著に向上するのか？
• RQ5 ハイブリッドニューラルアーキテクチャは、実世界のソーシャルメディアデータにおいて、先行する最先端手法を上回るF1スコアおよび正答率を達成できるのか？

主な発見

• 提案されたハイブリッドモデルは、19,538件のソーシャルメディア投稿から成るテストセットでF1スコア65.37％を達成し、既存の最先端手法を上回った。
• 同じデータセット上で、BiLSTMベースライン（F1: 61％）および特徴工学ベースライン（F1: 55％）を上回った。
• VGG-19と視覚的シameseネットワークによる視覚的特徴の統合が、検出性能の向上に顕著に寄与した。
• 双方向LSTM内蔵の注意機構により、クリックバイトの兆候となる重要な語に注目する能力が向上した。
• テキスト類似度のためのシameseネットワークは、見出しと説明文間の意味的整合性を効果的に捉え、モデルの頑健性を向上させた。
• モデルは83.53％の正答率を達成し、ベンチマークデータセットにおける優れた一般化性能を示した。