[論文レビュー] A Multimodal Analysis of Influencer Content on Twitter

Danae Sánchez Villegas, Cătălina Goanță+1 more|arXiv (Cornell University)|Sep 6, 2023

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、15,998件のインフルエンサー投稿から成る、専門家がラベル付けした新しいTwitterデータセットを紹介しており、これらは商業的または非商業的であるとラベル付けされている。さらに、視覚的特徴とテキスト特徴を統合することで、隠れた商業的コンテンツを検出する際、最先端のモデルを上回る性能を示すクロスアテンションマルチモーダルモデル（ViT-BERTweet-Att）を提案している。このモデルは、誤検出を顕著に低減し、明示されていないスポンサーシップの検出を向上させている。

ABSTRACT

Influencer marketing involves a wide range of strategies in which brands collaborate with popular content creators (i.e., influencers) to leverage their reach, trust, and impact on their audience to promote and endorse products or services. Because followers of influencers are more likely to buy a product after receiving an authentic product endorsement rather than an explicit direct product promotion, the line between personal opinions and commercial content promotion is frequently blurred. This makes automatic detection of regulatory compliance breaches related to influencer advertising (e.g., misleading advertising or hidden sponsorships) particularly difficult. In this work, we (1) introduce a new Twitter (now X) dataset consisting of 15,998 influencer posts mapped into commercial and non-commercial categories for assisting in the automatic detection of commercial influencer content; (2) experiment with an extensive set of predictive models that combine text and visual information showing that our proposed cross-attention approach outperforms state-of-the-art multimodal models; and (3) conduct a thorough analysis of strengths and limitations of our models. We show that multimodal modeling is useful for identifying commercial posts, reducing the amount of false positives, and capturing relevant context that aids in the discovery of undisclosed commercial posts.

研究の動機と目的

• プロモーションメッセージが個人的意見として装飾されている場合に、非公開の商業的コンテンツを検出する課題に対処すること。
• 自動検出研究を支援するため、商業的・非商業的意図にラベル付けされた大規模かつ専門家がアノテートしたTwitter投稿データセットを構築すること。
• テキストと視覚的特徴を統合するマルチモーダルアプローチが、本物の個人的コンテンツと隠れた製品プロモーションを区別する有効性を評価すること。
• 既存モデルの限界を調査し、テキスト、ビジョン、またはマルチモーダル統合が商業的コンテンツ検出においてどの程度効果的であるかを特定すること。
• 今後の多言語的および文化的に異なる文脈におけるインフルエンサーオファーのコンプライアンス分析の基盤を提供すること。

提案手法

• X（旧Twitter）から収集した15,998件のインフルエンサートイートの新しいデータセットをキュレートした。これには14,384件のテキスト-画像ペアと1,614件のテキストのみの投稿が含まれており、専門家による商業的・非商業的カテゴリへのラベル付けが行われた。
• ビジョントランスフォーマー（ViT）とファインチューニングされたBERTweetモデルからの表現を統合するために、クロスアテンション機構を採用し、モダリティ間の動的相互作用を可能にした。
• 大規模言語モデル（LLM）を用いたゼロショットおよびフェイシングショットのプロンプティング戦略を含む、最先端のビジョン、言語、マルチモーダルモデルと比較したベンチマークを実施した。
• キーワードマッチングやドメイン固有の用語リスト（例：#ad, #sponsored）をベースラインとして使用したが、明示的な開示語句を超えた文脈的・スタイル的特徴の学習に焦点を当てた。
• 誤分類例の定性的分析を実施し、繰り返し発生するエラーのパターンやモデルの限界を同定した。
• 2015年1月から2021年8月までの期間をカバーする、タイムエクステンデッドデータセットを用いて結果を検証した。対象分野にはビューティ、トラベル、フード、フィットネス、テクノロジー、ライフスタイルが含まれる。

Figure 3: Example of Annotation

実験結果

リサーチクエスチョン

• RQ1 キーワードベースや単一モダリティアプローチと比較して、マルチモーダルモデリングはインフルエンサーの商業的コンテンツと非商業的コンテンツをどの程度効果的に区別できるか？
• RQ2 特に開示が欠落している、もしくは曖昧な場合に、現在のモデルが隠れた商業的投稿を検出する際に見られる主な失敗モードは何か？
• RQ3 どのような文脈で視覚的特徴がテキスト的特徴よりも寄与し、逆にテキスト的特徴が視覚的特徴よりも寄与するのか？
• RQ4 標準的な後期統合や初期統合戦略と比較して、クロスアテンション機構はマルチモーダルインフルエンサーコンテンツ分類において性能を向上させるか？
• RQ5 テキストと画像の組み合わせにおけるスタイル的・文脈的特徴は、キーワードマッチングを超えて、非開示スポンサーシップを検出するためにどのように寄与するか？

主な発見

• 提案されたクロスアテンションマルチモーダルモデル、ViT-BERTweet-Attは、最先端のマルチモーダルアーキテクチャを含むすべてのベースラインモデルを上回り、商業的インフルエンサーコンテンツの検出において優れた性能を示した。
• マルチモーダルモデリングは、キーワードベースのベースラインと比較して誤検出を85％低減した。これは、非商業的投稿にプロモーションキーワードが含まれる場合に、しばしば誤分類が生じるためである。
• テキストのみのモデルが失敗する15％のケースで、本モデルは非公開の商業的投稿を正しく検出できた。特にブランド名が存在しないが、視覚的特徴がプロモーションを示唆する場合に顕著であった。
• 最も一般的な誤りタイプ（20％）は、ブランド名や明確な開示がない個人体験（特に旅行関連）の投稿であり、テキストモデルおよびマルチモーダルモデルの両方にとって挑戦的である。
• テキストのみのモデルは、非プロモーション文脈で使用されるプロモーションキーワードが存在するため、非商業的コンテンツを商業的と誤分類する傾向がある。これは、文脈的理解の重要性を示している。
• 本モデルは、視覚的特徴やテキスト内のスタイル的特徴（例：製品の配置、アート的なフレーミング）が、個人的コンテンツとして装ったネイティブ広告を検出するために極めて重要であることを示している。

Figure 4: ViT-BERTweet-Att model for detecting commercial content. FC: fully-connected layer.