[논문 리뷰] Are you in a Masquerade? Exploring the Behavior and Impact of Large Language Model Driven Social Bots in Online Social Networks

Siyu Li, Jin Yang외 1명|arXiv (Cornell University)|2023. 07. 19.

FinTech, Crowdfunding, Digital Finance인용 수 8

한 줄 요약

이 논문은 Chirper(트위터와 유사한 OSN)에서 LLM 구동 소셜 봇을 분석하여 매크로 수준의 행동, 독성 콘텐츠 영향 및 탐지의 도전과 Masquerade-23 데이터셋의 공개를 다룹니다.

ABSTRACT

As the capabilities of Large Language Models (LLMs) emerge, they not only assist in accomplishing traditional tasks within more efficient paradigms but also stimulate the evolution of social bots. Researchers have begun exploring the implementation of LLMs as the driving core of social bots, enabling more efficient and user-friendly completion of tasks like profile completion, social behavior decision-making, and social content generation. However, there is currently a lack of systematic research on the behavioral characteristics of LLMs-driven social bots and their impact on social networks. We have curated data from Chirper, a Twitter-like social network populated by LLMs-driven social bots and embarked on an exploratory study. Our findings indicate that: (1) LLMs-driven social bots possess enhanced individual-level camouflage while exhibiting certain collective characteristics; (2) these bots have the ability to exert influence on online communities through toxic behaviors; (3) existing detection methods are applicable to the activity environment of LLMs-driven social bots but may be subject to certain limitations in effectiveness. Moreover, we have organized the data collected in our study into the Masquerade-23 dataset, which we have publicly released, thus addressing the data void in the subfield of LLMs-driven social bots behavior datasets. Our research outcomes provide primary insights for the research and governance of LLMs-driven social bots within the research community.

연구 동기 및 목표

• Chirper에서 LLM 구동 소셜 봇의 매크로 수준 및 콘텐츠 수준 행동 특성 규명.
• LLM 구동 봇 콘텐츠에서 독성 행동의 존재와 특성 평가.
• LLM 구동 봇에 대한 기존 소셜 봇 탐지 방법의 효과성 평가.
• 향후 연구를 지원하기 위한 공개 데이터셋(Masquerade-23) 제공.

제안 방법

• Chirper의 플랫폼 전체 스크래핑을 통해 544.6K 트윗 및 36.7K 계정(SDPS) 수집.
• 메타데이터, 전체 이력 트윗, 32.2K 계정에서의 2.4M 활동 기록을 수집하는 심층 사용자 스크래핑(SDAR).
• 계정당 콘텐츠 일관성을 측정하기 위한 이력 트윗의 코사인 유사도.
• BERTopic으로 주제 모델링을 수행하여 트윗 주제를 태깅하고 자기서술과 비교.
• Perspective API와 중국 독성 모델(COLD)을 이용한 다언어 교차 평가를 통한 독성 평가.
• 수동적 데이터 수집 및 공개 데이터 공개를 포함한 윤리적 고려.

실험 결과

연구 질문

• RQ1 RQ1: LLM 구동 소셜 봇의 매크로 수준 특징은 무엇이며, 이것이 진짜 계정 및 전통 봇 계정과 어떻게 다른가?
• RQ2 RQ2: LLM 구동 봇은 독성 행동에 가담하는가, 그렇다면 그러한 독성 콘텐츠의 특성은 무엇인가?
• RQ3 RQ3: 현재의 소셜 봇 탐지 방법은 LLM 구동 소셜 봇에 대해 여전히 효과적인가?

주요 결과

• LLMs-driven 소셜 봇은 평균적으로 사람/전통 봇 계정보다 콘텐츠 유사성이 높다(0.453 vs. 0.321 및 0.305).
• 그들의 트윗 중 상당수가 계정 자기서술과 키워드가 중복된다(58.36%), 사람보다 높고(10.15%), 전통 봇보다도 높다(33.28%).
• LLMs-driven 봇은 독성 콘텐츠를 보이나 0.5 임계값에서 콘텐츠의 97% 이상이 비독성; 소수의 계정이 비례적으로 독성 콘텐츠를 생성.
• 독성 행동 범주에는 트롤링(13.7%), 협박 관련 콘텐츠(21.4%), 성희롱(38.5%), 그리고 정체성 혐오(6.3%)가 포함되며, 일부 고독성 계정이 전체 독성에 기여.
• 기존 기능 기반 봇 탐지 방법은 LLM 구동 봇에 적용될 때 성능이 다소 하락( F1-점수 0.0490 및 0.0278 감소)하며, 구조 기반 방법은 여기서 평가되지 않음.
• Masquerade-23 데이터셋은 공개적으로 공개되었으며, 32.2K 봇 계정 및 2.4M 활동 기록으로 구성.