[논문 리뷰] Manipulating the Online Marketplace of Ideas

Xiaodan Lou, Alessandro Flammini외 1명|arXiv (Cornell University)|2019. 07. 13.

Misinformation and Its Impacts참고 문헌 76인용 수 4

한 줄 요약

이 논문은 가짜 행위자가 소셜 미디어를 어떻게 악용하는지 모델링하며, 감시자들이 중요한 비율의 사용자를 점령하는 것이 과도한 콘텐츠 확산이나 인플루언서 타겟팅보다 더 해로운 영향을 미친다는 점을 보여준다. 주의력이 제한된 에이전트를 가진 정보 확산의 계산 모델을 사용하여, 이러한 침투가 전체 정보 품질을 떨어뜨린다는 것을 입증한다. 이는 핵심적인 취약점을 드러내며 복원력 있는 전략을 제안한다.

ABSTRACT

Social media, the modern marketplace of ideas, is vulnerable to manipulation. Deceptive inauthentic actors impersonate humans to amplify misinformation and influence public opinions. Little is known about the large-scale consequences of such operations, due to the ethical challenges posed by online experiments that manipulate human behavior. Here we introduce a model of information spreading where agents prefer quality information but have limited attention. We evaluate the impact of manipulation strategies aimed at degrading the overall quality of the information ecosystem. The model reproduces empirical patterns about amplification of low-quality information. We find that infiltrating a critical fraction of the network is more damaging than generating attention-grabbing content or targeting influentials. We discuss countermeasures suggested by these insights to increase the resilience of social media users to manipulation, and legal issues arising from regulations aimed at protecting human speech from suppression by inauthentic actors.

연구 동기 및 목표

• 가짜 행위자가 소셜 미디어 플랫폼을 조작할 때 발생하는 광범위한 영향을 이해하기 위해.
• 제한된 주의력과 정보 품질 선호도가 위조 정보 확산에 어떻게 영향을 미치는지 모델링하기 위해.
• 정보 생태계 품질을 떨어뜨리는 데 있어 다양한 조작 전략의 효과를 평가하기 위해.
• 조작을 가능하게 하는 사회 네트워크의 구조적 취약점을 특정하기 위해.
• 대응 조치를 제안하고 가짜 행동 규제의 법적 함의를 논의하기 위해.

제안 방법

• 계산 모델을 통해 주의력이 제한되고 품질 정보를 선호하는 에이전트가 있는 네트워크에서 정보 확산을 시뮬레이션한다.
• 에이전트는 정보 품질을 선호하지만 주의력 용량에 제한되어 있어 선택적 공유가 이루어진다.
• 모의 인간 행동을 하는 가짜 에이전트를 도입하여 열등한 품질의 콘텐츠를 확산시킨다.
• 조작 전략으로는 주목을 끄는 콘텐츠 생성, 인플루언서 타겟팅, 네트워크의 핵심 비율 점령이 포함된다.
• 각 전략이 확산되는 정보의 총 품질에 미치는 영향을 평가한다.
• 통제된 조건에서 실사회 미디어에서 관찰된 열등한 콘텐츠 확산의 경험적 패턴을 시뮬레이션을 통해 재현한다.

실험 결과

연구 질문

• RQ1 다양한 조작 전략은 온라인 소셜 네트워크에서 정보 품질 저하에 어떻게 영향을 미치는가?
• RQ2 바이럴 콘텐츠를 생성하는 것과 비교해 네트워크의 핵심 비율을 침투하는 것이 어떤 상대적 영향을 미치는가?
• RQ3 사용자들의 주의력 제한은 열등한 정보의 확산에 어떻게 영향을 미치는가?
• RQ4 어떤 네트워크의 구조적 특성이 가짜 행위자 침투에 취약하게 만드는가?
• RQ5 정보 생태계의 조작에 대비해 복원력을 높일 수 있는 대응 조치는 무엇인가?

주요 결과

• 네트워크의 핵심 비율을 침투하는 것이 주목을 끄는 콘텐츠를 생성하는 것보다 정보 품질에 더 큰 악영향을 미친다.
• 인플루언서를 타겟팅하는 것보다 대규모 침투 전략이 전체 정보 품질 저하에 더 효과적이지 않다.
• 모델은 실제 소셜 미디어에서 관찰된 열등한 콘텐츠 확산의 경험적 패턴을 성공적으로 재현한다.
• 에이전트의 주의력 제한과 정보 품질 선호도는 정보 생태계의 복원력 형성에 핵심적인 요소이다.
• 인간 행동을 모의하는 침투 전략은 정보 확산의 신뢰성에 심각한 영향을 미친다.
• 연구 결과는 규제 및 기술적 대응 조치가 네트워크 침투를 탐지하고 억제하는 데 집중해야 한다고 시사한다.