[논문 리뷰] A Multimodal Analysis of Influencer Content on Twitter

Danae Sánchez Villegas, Cătălina Goanță외 1명|arXiv (Cornell University)|2023. 09. 06.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 상업적 또는 비상업적 성격으로 레이블링된 15,998건의 인플루언서 게시글로 구성된 새로운 전문가 애너테이션 기반 트위터 데이터셋을 소개하며, 텍스트 및 이미지 특징을 융합함으로써 숨겨진 상업 콘텐츠를 탐지하는 데서 최신 기술 수준을 초월하는 크로스 어텐션 다중모달 모델(ViT-BERTweet-Att)을 제안한다. 이 모델은 거짓 긍정 결과를 크게 줄이고, 공개되지 않은 스폰서십을 보다 잘 탐지한다.

ABSTRACT

Influencer marketing involves a wide range of strategies in which brands collaborate with popular content creators (i.e., influencers) to leverage their reach, trust, and impact on their audience to promote and endorse products or services. Because followers of influencers are more likely to buy a product after receiving an authentic product endorsement rather than an explicit direct product promotion, the line between personal opinions and commercial content promotion is frequently blurred. This makes automatic detection of regulatory compliance breaches related to influencer advertising (e.g., misleading advertising or hidden sponsorships) particularly difficult. In this work, we (1) introduce a new Twitter (now X) dataset consisting of 15,998 influencer posts mapped into commercial and non-commercial categories for assisting in the automatic detection of commercial influencer content; (2) experiment with an extensive set of predictive models that combine text and visual information showing that our proposed cross-attention approach outperforms state-of-the-art multimodal models; and (3) conduct a thorough analysis of strengths and limitations of our models. We show that multimodal modeling is useful for identifying commercial posts, reducing the amount of false positives, and capturing relevant context that aids in the discovery of undisclosed commercial posts.

연구 동기 및 목표

• 홍보 메시지가 개인적인 의견으로 위장되어 있는 경우가 많기 때문에, 인플루언서 게시물에서 공개되지 않은 상업 콘텐츠를 탐지하는 데 도전하는 것.
• 자동 탐지 연구를 지원하기 위해 상업적 또는 비상업적 의도로 분류된 대규모 전문가 애너테이션 기반 트위터 게시글 데이터셋을 구축하는 것.
• 텍스트와 시각적 특징을 융합하는 다중모달 접근법이 진정성 있는 개인 콘텐츠와 은폐된 제품 홍보 사이를 구분하는 데 얼마나 효과적인지 평가하는 것.
• 기존 모델의 한계를 조사하고, 텍스트, 시각, 또는 다중모달 융합이 상업 콘텐츠 탐지에 있어 언제 가장 효과적인지 규명하는 것.
• 향후 다국어 및 다문화 분석을 위한 인플루언서 광고 준수 연구의 기반을 마련하는 것.

제안 방법

• 트위터(현 X)에서 15,998건의 인플루언서 트윗을 정제하여 수집하였으며, 이 중 14,384건은 텍스트-이미지 쌍이고 1,614건은 텍스트 전용 게시물이며, 전문가가 상업적 또는 비상업적 카테고리로 애너테이션을 수행하였다.
• 비전 트랜스포머(ViT)와 최적화된 BERTweet 모델의 표현을 융합하기 위해 크로스 어텐션 메커니즘을 사용하여 다중모달 간의 동적 상호작용을 가능하게 하였다.
• 최신 기술 수준의 비전, 언어, 다중모달 모델들과 비교하여 성능을 평가하였으며, 제로샷 및 패턴 기반 프롬프팅 전략을 사용한 LLM 프롬프팅 방식도 포함하였다.
• 키워드 매칭 및 도메인 전용 용어 목록(예: #ad, #sponsored)을 기준선으로 사용하였지만, 명시적 공개 단어를 넘어서 맥락적 및 스타일적 신호를 학습하는 데에 초점을 맞추었다.
• 오류가 발생한 예시를 질적 분석하여 반복적인 오류 패tern과 모델의 한계를 규명하였다.
• 2015년 1월부터 2021년 8월까지의 시간에 걸쳐 확장된 데이터셋을 사용하여 결과를 검증하였으며, 뷰티, 여행, 식음료, 피트니스, 기술, 라이프스타일 등의 도메인을 포함하였다.

Figure 3: Example of Annotation

실험 결과

연구 질문

• RQ1 키워드 기반 또는 단일모달 접근 방식에 비해 다중모달 모델링이 인플루언서 콘텐츠의 상업성과 비상업성을 구분하는 데 얼마나 효과적인가?
• RQ2 공개가 없거나 모호한 경우에 현재 모델들이 은폐된 상업 게시물을 탐지하는 데 실패하는 주요 원인은 무엇인가?
• RQ3 어떤 맥락에서 시각적 특징이 텍스트적 신호보다 더 중요한가, 반대로 어떤 맥락에서 텍스트적 신호가 더 중요한가?
• RQ4 표준 후기 융합 또는 조기 융합 전략에 비해 크로스 어텐션 메커니즘이 다중모달 인플루언서 콘텐츠 분류에서 성능 향상에 기여하는가?
• RQ5 텍스트와 이미지 조합에서의 스타일적 및 맥락적 신호는 키워드 매칭을 넘어서 공개되지 않은 스폰서십을 탐지하는 데 어떻게 기여하는가?

주요 결과

• 제안된 크로스 어텐션 다중모달 모델인 ViT-BERTweet-Att는 모든 기준선 모델, 특히 최신 기술 수준의 다중모달 아키텍처를 초월하여 상업적 인플루언서 콘텐츠 탐지에서 뛰어난 성능을 보였다.
• 다중모달 모델링은 키워드 기반 기준선 대비 거짓 긍정률을 85% 감소시켰으며, 이는 일반적으로 비상업적 게시물에 광고 키워드가 포함된 경우 오분류되는 경향이 있었기 때문이다.
• 텍스트 전용 모델이 실패하는 15%의 경우에서 모델은 공개되지 않은 상업 콘텐츠를 성공적으로 탐지하였다. 특히 브랜드 이름이 없지만 시각적 신호가 제품 홍보를 암시하는 경우에 효과적이었다.
• 가장 흔한 오류 유형(20%)은 브랜드 이름이나 명시적 공개가 없는 개인 경험, 특히 여행 관련 콘텐츠를 다룰 때 발생하며, 이는 텍스트 모델과 다중모달 모델 모두에게 도전 과제가 되었다.
• 텍스트 전용 모델은 비상업적 맥락에서 광고 키워드를 사용하는 경우가 많아 비상업적 콘텐츠를 상업적이라고 오분류하는 경향이 있어 맥락 이해의 필요성을 드러냈다.
• 모델는 비주얼 특징과 텍스트의 스타일적 신호(예: 제품 배치, 미적 구성)가 개인 콘텐츠로 위장된 내재 광고를 탐지하는 데 핵심적인 역할을 한다는 것을 입증하였다.

Figure 4: ViT-BERTweet-Att model for detecting commercial content. FC: fully-connected layer.