[논문 리뷰] Sleeper Social Bots: a new generation of AI disinformation bots are already a political threat

J. A. Doshi, Ines Novacic외 8명|arXiv (Cornell University)|2024. 08. 07.

Advanced Malware Detection Techniques인용 수 4

한 줄 요약

이 논문은 인간의 행동을 모방하고 정치적 허위정보를 퍼뜨리기 위해 설계된 '잠자는 사회적 봇'(sleeper social bots)을 소개한다. 연구자들은 비공개 마스토돈 서버를 사용하여 GPT 기반 봇을 배포했으며, 각 봇은 고유한 성격과 정치적 입장을 지니도록 설정하여 인간 참가자들과 허구의 선거 제안에 관한 토론에 참여시켰다. 그 결과 봇들은 인간처럼 보이며, 대화 상황에 따라 유연하게 논리를 조정하고, 허위정보를 성공적으로 퍼뜨렸으며, 참가자들은 이를 탐지하지 못했다.

ABSTRACT

This paper presents a study on the growing threat of "sleeper social bots," AI-driven social bots in the political landscape, created to spread disinformation and manipulate public opinion. We based the name sleeper social bots on their ability to pass as humans on social platforms, where they're embedded like political "sleeper" agents, making them harder to detect and more disruptive. To illustrate the threat these bots pose, our research team at the University of Southern California constructed a demonstration using a private Mastodon server, where ChatGPT-driven bots, programmed with distinct personalities and political viewpoints, engaged in discussions with human participants about a fictional electoral proposition. Our preliminary findings suggest these bots can convincingly pass as human users, actively participate in conversations, and effectively disseminate disinformation. Moreover, they can adapt their arguments based on the responses of human interlocutors, showcasing their dynamic and persuasive capabilities. College students participating in initial experiments failed to identify our bots, underscoring the urgent need for increased awareness and education about the dangers of AI-driven disinformation, and in particular, disinformation spread by bots. The implications of our research point to the significant challenges posed by social bots in the upcoming 2024 U.S. presidential election and beyond.

연구 동기 및 목표

• 소셜 미디어 플랫폼에서 은밀하게 작동하는 인공지능 기반 사회적 봇의 실현 가능성과 영향을 조사하는 것.
• 이러한 봇이 인간의 행동을 얼마나 효과적으로 모방하고 정치적 논의를 조작할 수 있는지 평가하는 것.
• 실시간 상호작용에서 인간 사용자가 인공지능 생성 콘텐츠를 탐지할 수 있는 능력을 평가하는 것.
• 인공지능 기반 허위정보 위협에 대한 대중 인식 제고와 교육적 대책의 긴급성에 주목하는 것.
• 이러한 봇이 2024년 미국 대선을 앞두고 민주적 논의를 뒤흔들 수 있는 실제 가능성에 대한 근거를 제시하는 것.

제안 방법

• 연구진은 비공개 마스토돈 서버에 GPT 기반 봇을 배포하여 실제 소셜 미디어 상호작용을 시뮬레이션했다.
• 각 봇은 현실감과 참여도를 높이기 위해 고유한 성격과 정치적 입장이 할당되었다.
• 봇들은 인간 참가자들과 허구의 선거 제안에 관한 중재된 토론에 참여했다.
• 봇들은 인간 대화자들의 반응에 따라 자연어 생성 기술을 활용해 논리를 실시간으로 조정했다.
• 인간 참가자들은 대학 학생들로부터 모집되어 통제된 실험 환경에서 봇들과 상호작용했다.
• 참가자들의 반응과 식별 정확도를 바탕으로 봇의 행동과 탐지율을 분석했다.

실험 결과

연구 질문

• RQ1 인공지능 기반 사회적 봇이 소셜 미디어에서 정치적 토론에 참여할 때 얼마나 자연스럽게 인간 사용자를 모방할 수 있는가?
• RQ2 이 봇들은 인간의 반응에 따라 실시간으로 논리를 얼마나 효과적으로 적응시킬 수 있는가?
• RQ3 인간 참가자들이 인공지능 생성 콘텐츠의 존재를 탐지하지 못하는 비율은 얼마인가?
• RQ4 성격과 정치적 입장은 이러한 봇의 설득력과 탐지 가능성에 어떤 영향을 미치는가?
• RQ5 이러한 봇이 특히 다가올 선거의 맥락에서 민주적 논의에 어떤 영향을 미칠 수 있는가?

주요 결과

• 인공지능 기반 봇들은 소셜 미디어 상호작용에서 인간 사용자로 오인되었으며, 대학 학생들이 봇임을 식별하지 못했다.
• 봇들은 인간 대화자에 대한 반응에 따라 유연하게 논리를 조정함으로써 설득력과 현실감을 높였다.
• 봇들은 실시간 토론 도중 의심을 불러일으키지 않고 허구의 선거 제안에 관한 허위정보를 효과적으로 확산시켰다.
• 이 연구는 잠자는 사회적 봇이 은밀함과 적응 능력 덕분에 정치적 논의에 신뢰할 수 있고 즉각적인 위협을 가한다는 점을 확인한다.
• 연구 결과는 인공지능 기반 허위정보에 대한 탐지 기술 향상과 대중 교육의 긴급성에 대한 필요성을 강조한다.
• 연구는 소셜 미디어 플랫폼이 조용히 작동하는 인공지능 조작에 얼마나 취약한지, 심지어 통제된 소규모 실험에서도 그러하다는 점을 드러낸다.