[論文レビュー] Clickbait Identification using Neural Networks

Philippe Thomas|arXiv (Cornell University)|Oct 24, 2017

Misinformation and Its Impacts参考文献 16被引用数 14

ひとこと要約

この論文では、言語的前処理を施さずに、テキストコンテンツ、公開時刻、メタデータといった複数のデータソースを統合するニューラルネットワークベースのクリックバイト検出システムを提示している。最終的なモデルは、平均二乗誤差0.0428を達成し、2017年クリックバイト検出チャレンジで6位となった。

ABSTRACT

This paper presents the results of our participation in the Clickbait Detection Challenge 2017. The system relies on a fusion of neural networks, incorporating different types of available informations. It does not require any linguistic preprocessing, and hence generalizes more easily to new domains and languages. The final combined model achieves a mean squared error of 0.0428, an accuracy of 0.826, and a F1 score of 0.564. According to the official evaluation metric the system ranked 6th of the 13 participating teams.

研究の動機と目的

• ソーシャルメディアのコンテンツにおけるクリックバイトヘッドラインの検出という課題に対処すること。
• ドメイン特化した言語的前処理に依存しない、強固で一般化可能なモデルを開発すること。
• テキスト、時刻、メタデータといった複数のデータソースの統合により、予測性能の向上を図ること。
• 人間によるスコア付けがなされたレギュレーショントラブルベースのクリックバイト検出タスクで高い性能を達成すること。

提案手法

• テキストデータ（投稿本文、ターゲットタイトル、段落、説明文）に単語埋め込みを適用し、ランダムに初期化された100次元のベクトルを使用した。
• バッチ正則化とドロップアウトを用いたバッチ正則化とドロップアウトを用いた双方向LSTMネットワークでテキストを処理した。
• 投稿時刻を時間帯ごとに区切り、ワンホットエンコーディングに変換した後、学習済みの埋め込み表現を用いてエンコードした。
• 個々のニューラルネットワークの出力を結合し、最終的な全結合層の前に結合した。
• 体系的なハイパーパrameterチューニングを実施せず、早期停止と適応的学習率を用いたRMSPropでモデルを訓練した。
• データ増強を伴う小さなCNNを用いて画像特徴の統合を試みたが、性能は芳しくなかった。今後の研究ではImageNetモデルからの転移学習を計画している。

実験結果

リサーチクエスチョン

• RQ1 言語的前処理を施さずに、生のテキストとメタデータのみを用いてニューラルネットワークモデルがクリックバイトヘッドラインを効果的に検出できるか。
• RQ2 テキスト、時刻、メタデータといった複数の入力ソースを統合することで、個々のソースに比べてクリックバイト検出性能がどの程度向上するか。
• RQ3 画像特徴はクリックバイト検出にどの程度寄与できるか。また、限られた画像データに対して有効なトレーニング戦略は何か。
• RQ4 言語的前処理を一切行わないため、モデルの一般化性能は異なるドメインや言語に対してもどの程度維持されるか。

主な発見

• 投稿本文のみで最も良い平均二乗誤差（MSE）0.055を達成しており、これが最も情報量が多い特徴源であることが示された。
• 複数のニューラルネットワークを統合することで、最良の個別モデル（MSE 0.055）と比較してMSEが18％低下し、内部評価セットでは0.045まで改善された。
• 最終的な統合モデルはテストセットでMSE 0.0428を達成し、正解率0.826、F₁スコア0.564を記録した。
• 公式のクリックバイト検出チャレンジ2017では13チーム中6位となり、強力な一般化性能とロバストネスを裏付けた。
• 初期段階での画像処理に小型CNNを用いた試みはランダムな性能に留まり、効果的な画像特徴抽出には事前学習済みImageNetモデルからの転移学習が不可欠であると示唆された。
• 公式テストセット（MSE 0.0428）におけるモデルの性能が、内部評価性能（MSE 0.045）とよく一致しており、顕著なデータ漏洩や過学習の兆候は認められなかった。