[논문 리뷰] Online Disinformation and the Role of Wikipedia

Diego Sáez-Trumper|arXiv (Cornell University)|2019. 10. 14.

Misinformation and Its Impacts참고 문헌 45인용 수 14

한 줄 요약

이 논문은 위키백과에서 온라인 가짜정보를 억제하기 위한 실천 가능한 전략을 규명하기 위해 문헌 고찰을 수행한다. 특히 의도적인, 비의도적인 오해를 유도하는 정보로 가짜정보를 정의한다. 이는 연계된 브리гад와 봇 같은 확산 메커니즘을 분석하고, 주로 수동 점검과 커뮤니티 모더레이션으로 구성된 기존 방어 수단을 평가하면서, 특히 자원이 부족한 언어 편집판에서 신뢰성 평가를 평가하고 협동 공격를 탐지하기 위해 고급 기계학습 도구의 도입을 주장한다.

ABSTRACT

The aim of this study is to find key areas of research that can be useful to fight against disinformation on Wikipedia. To address this problem we perform a literature review trying to answer three main questions: (i) What is disinformation? (ii) What are the most popular mechanisms to spread online disinformation? and (iii) Which are the mechanisms that are currently being used to fight against disinformation?. In all these three questions we take first a general approach, considering studies from different areas such as journalism and communications, sociology, philosophy, information and political sciences. And comparing those studies with the current situation on the Wikipedia ecosystem. We conclude that in order to keep Wikipedia as free as possible from disinformation, it is necessary to help patrollers to early detect disinformation and assess the credibility of external sources. More research is needed to develop tools that use state-of-the-art machine learning techniques to detect potentially dangerous content, empowering patrollers to deal with attacks that are becoming more complex and sophisticated.

연구 동기 및 목표

• 의도적인 오해를 유도하기 위해 고안된 정보로, 다른 형태의 오해와의 차이를 명확히 하기 위해 가짜정보를 정의하는 것.
• 온라인에서 가짜정보를 확산시키는 데 사용되는 주요 메커니즘을 분석하는 것, 특히 연계된 온라인 브리гад, 봇, 소켓 퍼프릿 계정을 포함한다.
• 위키백과에서 가짜정보를 방지하기 위해 현재 사용 중인 방법을 평가하는 것, 특히 수동 사실 확인과 위키백과 커뮤니티 모더레이션을 중심으로 한다.
• 현재 방어 수단의 격차를 규명하는 것, 특히 스케일이 가능한 AI 기반 도구가 부족하여 협동 공격 캠페인을 탐지하지 못하는 점을 중심으로 한다.
• 최신 기계학습을 활용하여 점검자 지원과 신뢰성 평가 향상을 도모하는 연구 방향을 제안하는 것, 특히 소규모 또는 자원이 부족한 위키백과 커뮤니티에서의 적용을 중심으로 한다.

제안 방법

• 저널리즘, 사회학, 철학, 정치학, 컴퓨터 과학 분야의 다학제적 문헌 고찰을 통해 가짜정보의 정의와 확산 메커니즘을 분석하는 것.
• 일반적인 가짜정보 정의와 위키백과의 중립적 시각(NPOV) 및 검증 가능성 원칙이라는 핵심 품질 기준에 따른 특수한 맥락을 비교하는 것.
• 연계된 브리гад, 봇 네트워크, 클릭 팜, 소켓 퍼프릿 계정 등 가짜정보 확산 메커니즘의 지도를 작성하며, 자원이 부족한 위키백과 커뮤니티에 미치는 영향을 중심으로 한다.
• 기존의 가짜정보 대응 조치 평가, 수동 사실 확인 점검자, 반훼손 봇, 자동 품질 평가 도구인 ORES 등을 포함한다.
• 위키백과와 위키데이터가 가짜정보 캠페인의 대상이자, 유튜브나 페이스북과 같은 플랫폼에서 사용하는 자동 사실 확인 시스템의 신뢰할 수 있는 기준 자료로서의 이중적 역할을 하는지 평가하는 것.
• 신뢰성 평가 점수 부여, 정치적 성향 탐지 등 고급 기계학습 기법의 통합을 제안하여 인간 점검자 지원과 다중 사용자 및 다국어 범위의 협동 공격 탐지에 기여하는 것.

실험 결과

연구 질문

• RQ1 의도의 측면에서 다른 오해와의 차이를 고려할 때, 가짜정보를 어떻게 정의할 수 있는가?
• RQ2 온라인에서 가짜정보를 확산시키는 데 가장 흔히 사용되는 메커니즘은 무엇이며, 그것이 위키백과와 그 커뮤니티에 어떻게 특별히 영향을 미치는가?
• RQ3 현재 위키백과에서 가짜정보를 탐지하고 방지하기 위해 사용되는 메커니즘은 무엇이며, 그 스케일성과 효과성에서의 한계는 무엇인가?
• RQ4 기계학습 기법은 어떻게 조정되어 자원이 부족한 언어 편집판에서 특히 협동 공격 캠페인을 탐지하는 데 위키백과 점검자들을 지원할 수 있는가?
• RQ5 위키데이터와 위키백과가 자동 사실 확인 시스템의 신뢰할 수 있는 기준 자료로 기능할 수 있는 정도는 어느 정도이며, 공격을 받는 상황에서 그것에 의존하는 위험은 무엇인가?

주요 결과

• 가짜정보는 의도적으로 오해를 유도하는 정보로, 비의도적인 오해와의 차이를 명확히 하기 위해 가장 잘 정의된다.
• 가짜정보를 확산시키는 데 가장 흔한 메커니즘은 연계된 온라인 브리гад, 봇 네트워크, 소켓 퍼프릿 계정의 사용이며, 자원이 부족한 위키백과 커뮤니티가 특히 취약하다.
• 현재 위키백과의 가짜정보 방어는 수동 점검과 커뮤니티 모더레이션에 크게 의존하고 있으며, 잠재적인 기술적 잠재력에도 불구하고 자동화된 기계학습 도구의 통합은 제한적이다.
• 위키백과와 위키데이터는 이중적 역할을 한다: 가짜정보 캠페인의 대상이자, 유튜브나 페이스북과 같은 플랫폼에서 사용하는 자동 사실 확인 시스템의 신뢰할 수 있는 기준 자료로 기능한다.
• 특히 소규모 또는 자원이 부족한 위키백과 편집판에서 다국어 및 다수 사용자 범위의 협동 공격를 탐지할 수 있는 스케일이 가능한 AI 기반 도구 개발에 대한 긴급한 필요성이 있다.
• 기존 위키백과에서의 기계학습 응용 사례, 예를 들어 ORES는 활용도가 낮고 주로 개인 편집에 집중되어 있을 뿐, 체계적이고 협동적인 캠페인에는 초점이 맞춰져 있지 않다.