[논문 리뷰] A preliminary approach to knowledge integrity risk assessment in Wikipedia projects

Pablo Aragón, Diego Sáez-Trumper|arXiv (Cornell University)|2021. 06. 30.

Wikis in Education and Collaboration참고 문헌 18인용 수 4

한 줄 요약

이 논문은 위키백과 프로젝트의 지식 정합성 위험에 대한 분류 체계를 제안하고, 공동체 인구통계학, 콘텐츠 검증 가능성, 지리정치적 요인 등을 포함한 내부 및 외부 위협을 평가하기 위한 초보적 지표 세트를 소개한다. 주요 발견은 일본어 및 Egyptians Arabic 위키백과에서 편집 기여자의 지리적 다양성이 낮을수록 위성 정보 유포 위험이 높아지는 것으로, 자유 지식 플랫폼을 모니터링하고 보호하기 위해 확장 가능하고 오픈소스인 지식 정합성 위험 관찰소가 필요하다는 점을 시사한다.

ABSTRACT

Wikipedia is one of the main repositories of free knowledge available today, with a central role in the Web ecosystem. For this reason, it can also be a battleground for actors trying to impose specific points of view or even spreading disinformation online. There is a growing need to monitor its "health" but this is not an easy task. Wikipedia exists in over 300 language editions and each project is maintained by a different community, with their own strengths, weaknesses and limitations. In this paper, we introduce a taxonomy of knowledge integrity risks across Wikipedia projects and a first set of indicators to assess internal risks related to community and content issues, as well as external threats such as the geopolitical and media landscape. On top of this taxonomy, we offer a preliminary analysis illustrating how the lack of editors' geographical diversity might represent a knowledge integrity risk. These are the first steps of a research project to build a Wikipedia Knowledge Integrity Risk Observatory.

연구 동기 및 목표

• 위키백과의 300개 이상 언어 편의 전반에 걸쳐 지식 정합성 위험을 체계적으로 분류하는 것.
• 내부(공동체/콘텐츠) 및 외부(지리정치적/미디어) 위협에 대한 측정 가능한 지표를 식별하고 구현하는 것.
• 편집자 지리적 다양성과 지식 정합성에 미치는 영향을 사례 연구를 통해 지표의 유용성을 입증하는 것.
• 위키백과 지식 정합성 위험 관찰소—투명하고 공동체 접근이 가능한 대시보드—를 설립하기 위한 기반을 마련하는 것.
• 디지털 정보 오염 및 체계적 취약성을 사전에 탐지하고 완화할 수 있도록 위키미디어 공동체에 데이터 기반 도구를 제공하는 것.

제안 방법

• 내부(공동체, 콘텐츠) 및 외부(지리정치적, 미디어) 기원을 구분하는 계층적 지식 정합성 위험 분류 체계를 개발하였다.
• 기존 문헌과 실증 연구를 정리하여 공동체 역량, 거버넌스, 인구통계학, 콘텐츠 검증 가능성 등을 포함한 10개의 위험 유형을 식별하였다.
• 편집/조회 분포의 국적 기반 엔트로피, 인용 수, 기사 품질에 대한 ORES 점수 등 7개 유형에 걸쳐 14개의 핵심 지표를 제안하였다.
• 지역적 다양성을 분석하기 위해 엔트로피 기반 지표를 적용하여 대규모 위키백과 편의(예: 영어, 아랍어, 일본어)에서 기여자 및 독자의 지리적 다양성을 분석하였다.
• 2018년 11월부터 2021년 4월까지의 종단적 데이터를 활용하여 기여자 및 독자의 국적 기반 엔트로피 값을 계산하고 비교하였다.
• 향후 페이지, 카테고리 또는 기사 수준에서 더 세분화된 지표를 포함할 수 있도록 프레임워크를 설계하였으며, 언어에 관계없이 해석 가능하고 이해하기 쉬운 지표를 확보하였다.

실험 결과

연구 질문

• RQ1 다국어 위키백과 프로젝트에서 지식 정합성 위험을 어떻게 체계적으로 분류하고 측정할 수 있는가?
• RQ2 편집 기여자의 지리적 다양성이 낮을수록 콘텐츠 편향 또는 위성 정보 유포 위험이 증가하는 정도는 어느 정도인가?
• RQ3 다양한 언어 편의에서 위키백과 공동체의 건강과 콘텐츠 신뢰성 평가에 가장 유용한 지표는 무엇인가?
• RQ4 위키백과 공동체가 지식 정합성을 보호하는 데 도움이 되는 확장 가능하고 개방적이며 투명한 모니터링 시스템을 어떻게 설계할 수 있는가?
• RQ5 미디어 보도 및 민주주의 수준과 같은 외부 요소가 위키백과의 지식 정합성 위험에 어떤 영향을 미치는가?

주요 결과

• 아랍어, 영어, 스페인어 위키백과는 편집과 조회 모두 높은 지리적 다양성을 보이며 글로벌 공동체의 참여를 나타낸다.
• 일본어 위키백과는 조회 분포에서 극도로 낮은 엔트로피를 보이며, 글로벌 독자층이 제한적이고 국지적 또는 민족주의적 편향의 위험이 높다는 것을 시사한다.
• Egyptians Arabic 위키백과는 높은 조회 엔트로피와 낮은 편집 엔트로피 사이에 심각한 괴리가 있으며, 지역 기여 없이 외부 또는 봇 기반의 콘텐츠 소비가 일어나고 있음을 나타낸다.
• 세부아노어 및 워라와라어 위키백과는 높은 편집 엔트로피를 보이지만 낮은 조회 엔트로피를 보이며, 아마도 자연스러운 공동체 참여가 아닌 글로벌 분포의 봇 활동 때문일 가능성이 높다.
• 인도네시아어, 폴란드어, 한국어, 베트남어 위키백과는 편집과 조회 모두 낮은 지리적 다양성을 보이며, 글로벌 시각이 제한된 잠재적 체계적 위험을 시사한다.
• 본 연구는 대규모 언어 편의에서 지리적 분포의 엔트로피 기반 지표가 지식 정합성 위험에 대한 효과적인 조기 경고 지표로 기능할 수 있음을 입증한다.