[논문 리뷰] Demystifying Misconceptions in Social Bots Research

Stefano Cresci, Yang, Kai-Cheng외 4명|arXiv (Cornell University)|2023. 03. 30.

Misinformation and Its Impacts인용 수 7

한 줄 요약

이 논문은 소셜 봇 연구 분야를 비판하고 편향, 방법론적 함정, 일반적 오해를 식별하며 봇 탐지와 잘못된 정보 확산에 대한 연구에서 엄격하고 편향되지 않은 접근을 주장한다.

ABSTRACT

Research on social bots aims at advancing knowledge and providing solutions to one of the most debated forms of online manipulation. Yet, social bot research is plagued by widespread biases, hyped results, and misconceptions that set the stage for ambiguities, unrealistic expectations, and seemingly irreconcilable findings. Overcoming such issues is instrumental towards ensuring reliable solutions and reaffirming the validity of the scientific method. Here, we discuss a broad set of consequential methodological and conceptual issues that affect current social bots research, illustrating each with examples drawn from recent studies. More importantly, we demystify common misconceptions, addressing fundamental points on how social bots research is discussed. Our analysis surfaces the need to discuss research about online disinformation and manipulation in a rigorous, unbiased, and responsible way. This article bolsters such effort by identifying and refuting common fallacious arguments used by both proponents and opponents of social bots research, as well as providing directions toward sound methodologies for future research.

연구 동기 및 목표

• 소셜 봇 연구의 편향, 과도 일반화, 방법론적 결함을 강조한다.
• 대표적인 봇 탐지 연구를 비판적으로 분석하여 일반적 함정을 설명한다.
• 오해를 해소하고 미래의 잘못된 정보 연구를 위한 엄격하고 편향되지 않은 방법론을 옹호한다.

제안 방법

• 해석적 문헌 고찰 of Hays et al. (2023) 및 관련 연구에 대한 비판적 문헌 고찰.
• 정보 누출 및 부적절한 데이터 출처와 같은 방법론적 문제의 식별 및 설명.
• 봇 탐지 연구의 개념적 및 데이터 세트 관련 한계에 대한 논의.
• 일반적인 오해를 프레이밍하고 향후 연구를 위한 교정 지침을 제시한다.

실험 결과

연구 질문

• RQ1 소셜 봇 연구에서 만연한 편향과 오해는 무엇인가?
• RQ2 방법론적 및 데이터 관련 결함이 봇 탐지 결과에 어떤 영향을 미치는가?
• RQ3 향후 잘못된 정보 및 봇 연구를 안내해야 할 올바른 방법론적 관행은 무엇인가?

주요 결과

• 감독된 봇 탐지기는 일반화에 제한적이며; 정보 누출로 인해 결과가 과대되어 나타날 수 있다.
• 많은 데이터 세트가 오래되어 현재 봇 환경을 반영하지 못하며, 현장 봇에 일반화하는 데 도전한다.
• 일반적인 오해에는 봇 탐지를 해결된 것으로 간주하고 한 탐지기가 모든 봇을 식별한다고 가정하는 것이 포함된다.
• 인용된 연구에서의 오해와 잘못된 귀속은 최첨단 상태와 발견의 참신성을 잘못 표현할 수 있다.
• 봇의 효율성과 잘못된 정보 확산에서 봇의 역할을 잘못 특징화하는 것은 공익에 중대한 시사점을 갖는다.