[論文レビュー] We used Neural Networks to Detect Clickbaits: You won't believe what happened Next!

Ankesh Anand, Tanmoy Chakraborty+1 more|arXiv (Cornell University)|Dec 5, 2016

Misinformation and Its Impacts参考文献 10被引用数 9

ひとこと要約

本稿では、手作業で特徴を設計するのを避け、事前学習済み単語埋め込みと文字レベル埋め込みを組み合わせた双方向LSTM（BiLSTM）ニューラルネットワークを提案する。このモデルはベンチマークデータセットで98%の正確度、98%のF1スコア、99%のROC-AUCを達成し、先行する最先端手法よりも正確度とF1スコアで5%以上優れている。

ABSTRACT

Online content publishers often use catchy headlines for their articles in order to attract users to their websites. These headlines, popularly known as clickbaits, exploit a user's curiosity gap and lure them to click on links that often disappoint them. Existing methods for automatically detecting clickbaits rely on heavy feature engineering and domain knowledge. Here, we introduce a neural network architecture based on Recurrent Neural Networks for detecting clickbaits. Our model relies on distributed word representations learned from a large unannotated corpora, and character embeddings learned via Convolutional Neural Networks. Experimental results on a dataset of news headlines show that our model outperforms existing techniques for clickbait detection with an accuracy of 0.98 with F1-score of 0.98 and ROC-AUC of 0.99.

研究の動機と目的

• 手動による特徴工学とドメイン特化の言語知識に依存しない深層学習ベースのクリックバイト検出システムの開発。
• 分散表現の単語埋め込みと文字レベル埋め込みを活用して意味的・綴り的・語彙的特徴を捉えることで、検出性能の向上。
• 標準化されたデータセットを用いて、RNNアーキテクチャ（BiRNN、BiGRU、BiLSTM）のクリックバイト検出への効果を評価。
• ニューラルネットワークによるエンドツーエンド学習が、広範な特徴工学に依存する従来手法を上回ることを示す。
• コードとモデル重みを公開し、クリックバイト検出研究分野における再現可能性とさらなる発展を促進する。

提案手法

• Google Newsデータセットから抽出された1000億語の語彙で学習された300次元の事前学習済みword2vec埋め込みを用い、単語の意味的・文法的表現を捉える。
• ReLU活性化関数とマックスプーリングを用いた1次元畳み込みニューラルネットワーク（CNN）を文字列に適用し、文字レベルの単語埋め込みを生成することで、未知語の対処を改善。
• 単語埋め込みと文字埋め込みを連結して、双方向RNN（BiLSTM、BiGRU、またはBiRNN）の入力とし、ヘッドライン内の順序的依存関係をモデル化。
• ヘッドラインの順序列における前向きおよび後向きの文脈情報を捉えるために、双方向LSTMアーキテクチャを採用。
• バイナリ分類（クリックバイト対非クリックバイト）のための全結合層にシグモイド活性化関数を適用し、バイナリクロスエントロピー損失とAdam最適化手法で学習。
• 正則化のためドロップアウト（率=0.3）を適用し、ミニバッチ勾配降下法（バッチサイズ=64）を用いて学習。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みと文字埋め込みを組み合わせたニューラルネットワークモデルは、手作業で特徴を設計する従来のクリックバイト検出手法を上回ることができるか？
• RQ2 統合された単語埋め込みと文字埋め込みを用いた場合、RNNアーキテクチャ（BiRNN、BiGRU、BiLSTM）の中で、どれがクリックバイト検出において最も優れた性能を示すか？
• RQ3 文字レベル埋め込みの統合は、特にレア語や未知語が多いクリックバイトヘッドラインにおいて、一般化性能をどの程度向上させるか？
• RQ4 標準化されたベンチマークデータセット上で、提案手法のエンドツーエンドの深層学習アプローチは、最先端手法と比べて正確度、F1スコア、ROC-AUCの観点でどの程度優れているか？
• RQ5 豊富な言語的前処理やドメイン特化の語彙リストを必要とせずに、高い性能を達成できるか？

主な発見

• 文字埋め込みと単語埋め込みを併用したBiLSTMモデル（BiLSTM-CE+WE）が最高の性能を示し、98%の正確度、98%のF1スコア、99%のROC-AUCを達成した。
• BiLSTM-CE+WEモデルは、最高のベースライン（Chakrabortyら、2016年によるSVM）を正確度5.0ポイント、F1スコア5.0ポイント上回った。
• 0.99のROC-AUCスコアは、クリックバイトと非クリックバイトヘッドラインの間の識別能力が優れていることを示している。
• 単語埋め込みと文字埋め込みの組み合わせは、単独で使用する場合よりも一貫して優れた結果をもたらし、意味的特徴と綴り的特徴の補完的性質を示している。
• RNNの変種の中で、BiLSTMはBiGRUおよびBiRNNを上回り、双方向アーキテクチャは単方向モデルに比べて顕著な性能向上を示した。
• 10-fold交差検証においてもモデルの性能は安定しており、ベンチマークデータセット上で強い一般化能力と安定性を示している。