[論文レビュー] Topic and Sentiment Analysis on OSNs: a Case Study of Advertising Strategies on Twitter

Shana Dacres, Hamed Haddadi+1 more|arXiv (Cornell University)|Dec 23, 2013

Sentiment Analysis and Opinion Mining参考文献 26被引用数 12

ひとこと要約

本研究では、高度な自然言語処理（NLP）および機械学習を用いて、プロモート済みツイートとプロモート済みトレンドの広告戦略を分析し、比較した。その結果、プロモート済みトレンドはより高いエンゲージメント量を生み出すが、プロモート済みツイートは顕著に高い肯定的センチメントと持続的なブランドエンゲージメントを引き出すことが判明した。これは、正確なソーシャルメディア分析における強固なセンチメントおよびトピック分類の重要性を示している。

ABSTRACT

Social media have substantially altered the way brands and businesses advertise: Online Social Networks provide brands with more versatile and dynamic channels for advertisement than traditional media (e.g., TV and radio). Levels of engagement in such media are usually measured in terms of content adoption (e.g., likes and retweets) and sentiment, around a given topic. However, sentiment analysis and topic identification are both non-trivial tasks. In this paper, using data collected from Twitter as a case study, we analyze how engagement and sentiment in promoted content spread over a 10-day period. We find that promoted tweets lead to higher positive sentiment than promoted trends; although promoted trends pay off in response volume. We observe that levels of engagement for the brand and promoted content are highest on the first day of the campaign, and fall considerably thereafter. However, we show that these insights depend on the use of robust machine learning and natural language processing techniques to gather focused, relevant datasets, and to accurately gauge sentiment, rather than relying on the simple keyword- or frequency-based metrics sometimes used in social media research.

研究の動機と目的

• プロモート済みツイートとプロモート済みトレンドという、異なるTwitter広告戦略がユーザーのエンゲージメントおよびセンチメントに与える影響を調査すること。
• 強固なNLPおよび機械学習手法が、ソーシャルメディアデータにおけるセンチメントおよびトピック分類の正確性に与える影響を評価すること。
• オンライン広告キャンペーンにおけるエンゲージメント量、センチメント極性、およびブランド名の言及頻度の間のトレードオフを特定すること。
• キーワードベースのフィルタリングやセンチメント分析が、教師あり機械学習手法と比較して誤った結果をもたらす可能性があることを示すこと。
• キャンペーンの目的に応じて、プロモート済みツイートとプロモート済みトレンドの間で選択肢を決定するための実行可能なインサイトを広告主に提供すること。

提案手法

• 主要なショッピングイベント中に10日間、ストリーミングAPIを用いてリアルタイムのTwitterデータを収集した。
• トピック的関連性をフィルタリングするために判別的機械学習モデルを適用し、単純なキーワードベースのフィルタリングと比較した。
• 複数のセンチメント分析ツールおよびモデルを用いて、ツイートを肯定的、否定的、またはニュートラルのセンチメントに分類し、各手法間でのパフォーマンスを評価した。
• 各プロモート済みアイテムについて、リツイート、メンション、ハッシュタグ使用状況などのエンゲージメントメトリクスを時間経過とともに追跡した。
• ASOSおよびVauxhallの2つの事例研究を実施し、プロモーション活動終了後のエンゲージメントの持続性を分析した。
• 手動によるデータの検査を実施し、市販のNLPツールの限界を特定するとともに、分類の正確性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 プロモート済みツイートとプロモート済みトレンドにおいて、プロモート内容に対するセンチメントは時間経過とともにどのように変化するか？
• RQ2 プロモート済みツイートとプロモート済みトレンドの日次エンゲージメントレベルはどのようになっており、プロモーション終了後にどのように変化するか？
• RQ3 プロモート済みツイートとプロモート済みトレンドにおいて、ブランド名の直接的な言及とハッシュタグ使用状況はどのように異なるか？
• RQ4 キーワードベースまたは頻度ベースの手法が、教師あり機械学習手法と比較して、どの程度センチメントおよびトピック的関連性を誤って表現しているか？
• RQ5 ブランド統合性および感情的トーンの観点から、プロモート済みツイートとプロモート済みトレンドにおけるエンゲージメントおよびセンチメントパターンの違いは何か？

主な発見

• プロモート済みツイートは、プロモート済みトレンド（全体で37％のツイートが肯定的）に比べ、顕著に高い肯定的センチメント（初日で32％の肯定的）を生み出した。これは、ユーザーのブランドに対する好意が強いことを示している。
• プロモーション初日において、プロモート済みトレンドに関するツイートの26％が否定的センチメントを示した一方、プロモート済みツイートではわずか10％のツイートが否定的であった。これは、プロモート済みツイートに対してより強い感情的反応があることを示唆している。
• エンゲージメント量において、プロモート済みトレンドはプロモート済みツイートを上回っており、初日がピークに達し、2日目には初期量の10％まで急激に減少した。これは、ユーザーの疲労感が急速に現れることを示している。
• ハッシュタグ使用量の低下にもかかわらず、ASOSおよびVauxhallのエンゲージメントはプロモーション活動終了後も持続的に維持され、ユーザーの関心がトレンドやツイートのプロモーション期間を越えて続く可能性があることを示している。
• 本研究では、プロモート済みツイートが直接的なブランド名の言及を増やし、ブランドを含むエンゲージメントを促進した。これは、ユーザーがブランドに対してより強いつながりを感じていることを示している。
• キーワードベースの手法では、曖昧なセンチメントおよびトピック的関連性を捉えられず、誤った結論に至る可能性があるため、強固な機械学習ベースのフィルタリングおよびセンチメント分類が不可欠であることが判明した。