[論文レビュー] How Curiosity can be modeled for a Clickbait Detector

Lasya Venneti, Aniket Alam|arXiv (Cornell University)|Jun 11, 2018

Psychological and Educational Research Studies参考文献 9被引用数 8

ひとこと要約

本稿は、心理的および認知的理論を基盤とし、独自に設計された特徴量（新奇性、驚き、情報ギャップ）を用いて、クリックベイト見出しにおける人間の好奇心を定量化するための新しい計算モデルを提案する。非教師ありおよび教師あり機械学習を統合し、好奇心を注目を引きつける要因としてモデル化することで、クリックベイト見出しの分類において97.17%の正確性を達成した。これは、デジタルコンテンツ検出における好奇心の操作的定式化を試みた初の試みである。

ABSTRACT

The impact of continually evolving digital technologies and the proliferation of communications and content has now been widely acknowledged to be central to understanding our world. What is less acknowledged is that this is based on the successful arousing of curiosity both at the collective and individual levels. Advertisers, communication professionals and news editors are in constant competition to capture attention of the digital population perennially shifty and distracted. This paper, tries to understand how curiosity works in the digital world by attempting the first ever work done on quantifying human curiosity, basing itself on various theories drawn from humanities and social sciences. Curious communication pushes people to spot, read and click the message from their social feed or any other form of online presentation. Our approach focuses on measuring the strength of the stimulus to generate reader curiosity by using unsupervised and supervised machine learning algorithms, but is also informed by philosophical, psychological, neural and cognitive studies on this topic. Manually annotated news headlines - clickbaits - have been selected for the study, which are known to have drawn huge reader response. A binary classifier was developed based on human curiosity (unlike the work done so far using words and other linguistic features). Our classifier shows an accuracy of 97% . This work is part of the research in computational humanities on digital politics quantifying the emotions of curiosity and outrage on digital media.

研究の動機と目的

• デジタルコンテンツにおける人間の好奇心のための計算モデルの不足に応えるために、心理的および認知的理論に基づくアプローチを提示すること。
• 言語的・語彙的特徴に依存せず、好奇心を喚起する能力に基づいてクリックベイト見出しを区別する二値分類器を開発すること。
• 特に認知的および知的形態の好奇心が、ユーザー参加を予測するために定量化可能であり、それを活用可能であることを検証すること。
• 見出しのスタイル的・意味的・構造的特徴が、情報ギャップ、新奇性、驚きを通じてどのように好奇心を引き起こすかを明らかにすること。
• 特に好奇心と怒りの観点から、デジタルメディアにおける感情認識分析を可能にする計算的人文学分野に貢献すること。

提案手法

• 本研究は、心理的理論に基づく好奇心（新奇性、驚き、情報ギャップ）の特徴量を用いて、非教師ありおよび教師あり機械学習を統合し、クリックベイト見出しを分類する。
• 認知的および神経科学研究に基づく手作業による特徴量設計：新奇性は日常的トピックからの意味的逸脱としてモデル化され、驚きは非標準的な語順または文法的混乱として、情報ギャップは不完全な知識を示唆する修辞的手がかりとして定義される。
• トピックモデル（LDA）を用いて見出しのトピック的新奇性を特定し、最適なトピック数（N=68）を coherence スコアを用いて選定。これにより、クリックベイトのトピックがアイデンティティ、自己、ポップカルチャーに集中していることが確認された。
• SVMおよびロジスティック回帰分類器を用い、1:4のトレーニング・テスト分割で学習を実施。性能評価には正確性、F1スコア、平均二乗誤差（MSE）を用いた。
• I&Dモデル（Litman, 2005）の知見を統合し、I-interest（認知的）とD-deprivation（知覚的）の好奇心が、エンゲージメントの駆動要因として独立的だが補完的であるとみなす。
• 期待の違反と知識ギャップを通じた認知的覚醒の能力を評価し、ドーパミン応答などの神経的相関と一致させる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、特に認知的および知覚的形態の好奇心をデジタル見出しにおいて計算的にモデル化できるか？
• RQ2 新奇性、驚き、情報ギャップといった特徴量が、従来の言語的特徴に比べてクリックベイトの効果をどれほどよく予測できるか？
• RQ3 好奇心駆動特徴量で学習した機械学習分類器は、既存の手法を上回る性能を示せるか？
• RQ4 クリックベイト見出しにおけるトピック分布は、一般的なニュース見出しと比較して、意味的新奇性および自己アイデンティティ関連性においてどのように異なるか？
• RQ5 意味的新奇性、構文的驚き、修辞的情報ギャップが、読者の好奇心を引き起こす上で果たす相対的寄与度は何か？

主な発見

• すべての手作業特徴量（新奇性、驚き、情報ギャップ）を用いた本モデルは、分類正確性97.17%を達成し、単独で新奇性または驚きに依存するモデルを著しく上回った。
• 本モデルの最高正確性（99.17%）は、新奇性特徴量のみを用いた場合に達成され、日常的トピックからの意味的逸脱がクリックベイトの可能性を予測する最も強い要因であることを示した。
• トピックモデルにより、クリックベイト見出しは、政治や戦争といったマスコミのトピックとは対照的に、自己、アイデンティティ、有名人、ポップカルチャー（例：占い、ビューティ、ウェルネス）に関連するトピックを顕著にカバーしていることが判明した。
• クリックベイト見出しは、リスト形式（数字の使用）、修辞的質問、不完全な文などのスタイル的特徴を通じて強い情報ギャップを生成し、読者が完結を求める心理を誘発することが分かった。
• 驚きに基づく特徴量は正確性が低かった（93.69%）が、F1スコアは高い（0.9674）ため、構文的または語彙的予測不可能性は信頼性は高いが、意味的新奇性ほど強くはないと示唆された。
• 結果は、知覚的好奇心（嫌悪駆動）と認知的好奇心（快楽駆動）が別個のメカニズムであるが補完的であるという理論的枠組みを支持しており、認知的好奇心が高性能なクリックベイト特徴量と強く一致していることを示した。