[論文レビュー] Clickbait detection using word embeddings

Vijayasaradhi Indurthi, Subba Reddy Oota|arXiv (Cornell University)|Oct 8, 2017

Misinformation and Its Impacts参考文献 7被引用数 4

ひとこと要約

本稿では、事前学習済みのGloVe単語埋め込みと手作業で作成した言語的特徴を組み合わせることで、ツイートのクリックバイトスコアを予測する、シンプルだが効果的なクリックバイト検出手法を提案する。この手法は、平均化されたGloVeベクトルとドメイン固有の特徴に線形回帰を適用し、F1スコア64.98%、平均二乗誤差（MSE）0.0791を達成しており、計算コストが低く、特徴工学の最小限の要件で中程度の効果を示している。

ABSTRACT

Clickbait is a pejorative term describing web content that is aimed at generating online advertising revenue, especially at the expense of quality or accuracy, relying on sensationalist headlines or eye-catching thumbnail pictures to attract click-throughs and to encourage forwarding of the material over online social networks. We use distributed word representations of the words in the title as features to identify clickbaits in online news media. We train a machine learning model using linear regression to predict the cickbait score of a given tweet. Our methods achieve an F1-score of 64.98\% and an MSE of 0.0791. Compared to other methods, our method is simple, fast to train, does not require extensive feature engineering and yet moderately effective.

研究の動機と目的

• 事前学習済み単語埋め込みを用いて、広範な特徴工学を伴わずにツイートのクリックバイトスコアを効果的に予測できるかを調査すること。
• 分散表現とドメイン固有の言語的特徴を併用したシンプルな機械学習モデルの性能を評価すること。
• リソースが限られたデバイスへの展開に適した、軽量で解釈可能かつ効率的なシステムの開発を目的とすること。
• クリックバイト検出を二値分類ではなく、連続的なクリックバイトスコアを割り当てる回帰タスクとして扱う挑戦に応えること。

提案手法

• モデルは、300次元の事前学習済みGloVe埋め込みを用い、各ツイートの語のベクトルを平均化して固定長の表現を形成する。
• 7つの手作業で作成した言語的特徴を抽出する：語数、ストップワード数、平均語長、疑問詞の有無、先頭の数字、動名詞（継続形動詞）、最上級の形容詞。
• 各ツイートについて、300次元のGloVe特徴と7つの手作業特徴を連結し、307次元のベクトルを構築する。
• 線形回帰モデルを用いてクリックバイトスコアを予測するが、正則化は適用しない。
• 学習データは、Clickbait Challenge 2017の初期学習データと検証データを統合したもので、クリックバイトと非クリックバイトのクラスが均等に表現されるようにバランスを取っている。
• モデルの評価は、TIRAプラットフォームを通じて未観測のテストセットを用いて実施され、MSE、F1スコア、R²といった標準的な回帰指標が使用された。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み単語埋め込みを最小限の特徴工学とともに用いることで、ソーシャルメディアのコンテンツにおけるクリックバイトスコアを効果的に予測できるか？
• RQ2 GloVe埋め込みと手作業特徴を用いたシンプルな線形モデルは、より複雑なモデルと比較してクリックバイト検出においてどのように性能を示すか？
• RQ3 最上級の形容詞や疑問形といったドメイン固有の言語的特徴は、クリックバイト予測にどの程度寄与するか？
• RQ4 平均化されたGloVe埋め込みは、ツイートのような短いテキストにおけるクリックバイト検出に十分な意味的・構文的情報を捉えられるか？

主な発見

• モデルは公式テストセットでF1スコア64.98%を達成し、クリックバイトと非クリックバイトのコンテンツを中程度の精度で区別できることを示している。
• 平均二乗誤差（MSE）は0.0791であり、ベースラインシステムのMSE（0.0435）より高いことから、回帰精度の向上の余地があることが示唆された。
• リcallは84.05%であったが、精度は52.97%と低く、実際にクリックバイトとされたインスタンスの多くを検出できたが、誤検出も多かった。
• R²スコアは-0.0767であり、これはモデルが目的変数の分散の8%未満しか説明できていないことを示しており、残差誤差が著しく高いことが明らかになった。
• テストセットにおける正解率は78.46%であり、全体的な分類性能は中程度であることが示された。
• 学習および推論の実行時間はわずか4分55秒であり、本手法の効率性とリアルタイム展開への適性が裏付けられた。