[論文レビュー] A Two-Level Classification Approach for Detecting Clickbait Posts using Text-Based Features

Olga Papadopoulou, Markos Zampoglou+2 more|arXiv (Cornell University)|Oct 23, 2017

Misinformation and Its Impacts参考文献 8被引用数 14

ひとこと要約

本稿では、65個の第一段階分類器を組み合わせて第二段階のロジスティック回帰で統合する二段階のテキストベース分類システムを提示し、クリックベイト投稿の検出を試みた。内部検証ではFスコア0.63を達成したが、最終的なTIRA評価ではFスコアが0.43に低下し、汎化性能の問題やトレーニングデータへの過適合の兆候が示された。

ABSTRACT

The emergence of social media as news sources has led to the rise of clickbait posts attempting to attract users to click on article links without informing them on the actual article content. This paper presents our efforts to create a clickbait detector inspired by fake news detection algorithms, and our submission to the Clickbait Challenge 2017. The detector is based almost exclusively on text-based features taken from previous work on clickbait detection, our own work on fake post detection, and features we designed specifically for the challenge. We use a two-level classification approach, combining the outputs of 65 first-level classifiers in a second-level feature vector. We present our exploratory results with individual features and their combinations, taken from the post text and the target article title, as well as feature selection. While our own blind tests with the dataset led to an F-score of 0.63, our final evaluation in the Challenge only achieved an F-score of 0.43. We explore the possible causes of this, and lay out potential future steps to achieve more successful results.

研究の動機と目的

• ソーシャルメディアにおけるクリックベイト投稿をテキスト特徴量を用いて自動検出するためのシステムを開発すること。
• フェイクニュース検出の手法をクリックベイト検出タスクに適応すること。
• 複数のテキスト特徴量を統合した二段階分類アーキテクチャの有効性を評価すること。
• 内部検証と最終チャレンジ評価との間で性能に顕著な差異が生じる理由を特定すること。
• 基本的なテキスト特徴量を超える検出性能を向上させるための特徴工学戦略を検討すること。

提案手法

• システムは、投稿本文および対象記事のタイトルから抽出された多様なテキスト特徴量を用いて学習された65個の第一段階ロジスティック回帰分類器を用いる。
• 特徴量にはbag-of-words、n-gram、語彙的・構文的・意味的指標に加え、チャレンジ用にカスタム設計された特徴量が含まれる。
• 第一段階の出力を連結して、第二段階のロジスティック回帰分類器用の特徴ベクトルを生成する。
• すべての第一段階モデルに対して、トレーニングセットAで10分割交差検証を適用し、アウトオブフォールド予測を生成する。
• 最終モデルは、ホールドアウトされたテストセット（セットC）およびTIRA評価プラットフォームで評価される。
• 次元削減とモデル性能の向上を目的として、特徴選択が適用される。

実験結果

リサーチクエスチョン

• RQ1 複数のテキスト特徴量を統合した二段階分類アプローチは、クリックベイト投稿を効果的に検出できるか？
• RQ2 個々のテキスト特徴量およびそれらの組み合わせが、検出性能にどのように影響を与えるか？
• RQ3 なぜモデルの性能が内部検証からTIRAの最終評価にかけて顕著に低下するのか？
• RQ4 投稿本文のみの特徴量が、投稿本文とタイトルの両方を組み合わせた特徴量よりも優れている程度はどの程度か？
• RQ5 投稿本文とタイトルとの間の意味的・文法的類似性が、クリックベイト検出において果たす役割は何か？

主な発見

• モデルは、65個の第一段階分類器と第二段階メタ分類器を組み合わせた内部検証でFスコア0.63を達成した。
• 最も優れた個別コンポonentは、投稿本文のみの特徴量セットであり、Fスコア0.59を達成した。
• TIRAプラットフォームでの最終評価では、顕著に低いFスコア0.43が得られ、偽陽性率が高かった。
• 検証と最終評価の間の差異は、トレーニングデータへの過適合またはトレーニングセットとテストセット間のデータ分布のずれの兆候を示している。
• 投稿本文とタイトルのテキスト類似度を測る特徴量、特に文法的類似度が、すべての特徴量タイプの中で最も優れた性能を示した。
• 視覚的またはメディア特徴量を組み込んでも性能は向上しなかったため、この設定ではその有用性が限定的であると示唆された。