[논문 리뷰] Mind Your POV: Convergence of Articles and Editors Towards Wikipedia's Neutrality Norm

Umashanthi Pavalanathan, Xiaochuang Han외 1명|arXiv (Cornell University)|2018. 09. 18.

Wikis in Education and Collaboration참고 문헌 68인용 수 9

한 줄 요약

이 연구는 7,500개의 NPOV 태그가 부여된 기사들에 대해 중단된 시간 시리즈 분석을 사용하여 위키백과의 중립적 시각(NPOV) 태그 시스템이 규범 이행 수단으로서 효과적인지 조사한다. 연구 결과, NPOV 태그는 기사 내 편향어휘 사용을 유의미하게 감소시키지만, 보정 조치나 대화 페이지 토론 이후에도 개인 편집자들의 글쓰기 스타일에 통계적으로 유의미한 영향을 주지 못하는 것으로 나타났다.

ABSTRACT

Wikipedia has a strong norm of writing in a 'neutral point of view' (NPOV). Articles that violate this norm are tagged, and editors are encouraged to make corrections. But the impact of this tagging system has not been quantitatively measured. Does NPOV tagging help articles to converge to the desired style? Do NPOV corrections encourage editors to adopt this style? We study these questions using a corpus of NPOV-tagged articles and a set of lexicons associated with biased language. An interrupted time series analysis shows that after an article is tagged for NPOV, there is a significant decrease in biased language in the article, as measured by several lexicons. However, for individual editors, NPOV corrections and talk page discussions yield no significant change in the usage of words in most of these lexicons, including Wikipedia's own list of 'words to watch.' This suggests that NPOV tagging and discussion does improve content, but has less success enculturating editors to the site's linguistic norms.

연구 동기 및 목표

• 위키백과의 NPOV 태그 시스템이 기사 내 편향어휘 사용을 줄이는 데 미치는 영향을 평가하기 위해.
• NPOV 보정 조치와 관련된 대화 페이지 토론이 개인 편집자들이 중립적인 글쓰기 스타일을 채택하도록 유도하는지 평가하기 위해.
• 온라인 공동체에서의 규범 이행 메커니즘이 커뮤니티의 언어 기준에로의 수렴을 어떻게 이끄는지 이해하기 위해.
• empirical 데이터를 활용하여 NPOV 태그의 인과적 영향을 기사 수준과 편집자 수준에서 모두 분석하기 위해.
• 온라인 지식 플랫폼에서 언어 규범 이행 설계에 대한 증거 기반 통찰을 제공하기 위해.

제안 방법

• 2013년 'NPOV 논란' 카테고리의 스냅샷에서 7,498개의 NPOV 태그가 부여된 위키백과 기사 코퍼스를 구축하였다.
• 기사가 NPOV 태그를 처음으로 받은 수정을 치료 시점으로 정의하여 개입 시점을 설정하였다.
• 태그 이후의 편향어휘 사용 변화를 측정하기 위해 중단된 시간 시리즈(ITS) 분석을 적용하였으며, 주요 결과로는 태그 이후의 기울기를 사용하였다.
• 다양한 어휘집을 활용하여 편향어휘를 정량화하였으며, 이에는 'Words to Watch', Hedges, Assertives, Factives, Implicatives, Report Verbs, Strong/Weak Subjectives 등이 포함되었다.
• 편집자 수준의 변화를 추적하기 위해 NPOV 문제를 보정한 수정을 식별하고, 보정 전후의 언어 사용을 분석하였다.
• 다중 비교에 대한 Benjamini-Hochberg 보정을 적용하고, 3년 이상 지속된 분쟁을 가진 기사들을 제외하여 탄력성 검증을 실시하였다.

실험 결과

연구 질문

• RQ1 RQ1: NPOV 태그는 편향어휘 사용 감소에 기사 수준에서 어떤 영향을 미치는가?
• RQ2 RQ2a: NPOV 보정은 개인 편집자의 글쓰기 스타일에 어떤 영향을 미치는가?
• RQ3 RQ2b: NPOV 보정은 편집자가 대화 페이지 토론에 참여하는 데 어떤 영향을 미치는가?
• RQ4 RQ2: NPOV 보정은 편집자의 언어 사용, 특히 중립적 글쓰기 스타일로의 변화를 측정 가능한 방식으로 이끌는가?
• RQ5 RQ3: 장기적인 분쟁은 NPOV 태그의 관찰된 영향에 어떤 영향을 미치는가?

주요 결과

• NPOV 태그는 다양한 어휘집을 통해 통계적으로 유의미하게 편향어휘 사용을 감소시키며, 40회의 수정 후 'Words to Watch' 어휘 커버리지가 5.23% 감소하였다.
• 모든 주요 어휘집에서 태그 이후 편향어휘 사용 기울기가 유의미하게 감소하였지만, 'Factives'와 'Implicatives'를 제외한 모든 어휘집에서 유의미한 변화가 관찰되었다.
• 개인 편집자 수준에서는 NPOV 보정이 테스트된 모든 어휘집, 특히 위키백과 자체의 'Words to Watch' 목록에서도 언어 사용에 통계적으로 유의미한 영향을 주지 못하였다.
• 보정 조치와 함께 대화 페이지 토론 및 이메일 프롬프트를 시행한 경우에도 편집자 글쓰기 스타일에 유의미한 변화가 관찰되지 않았다.
• 탄력성 검증 결과, 3년 이상 지속된 분쟁을 가진 기사들을 제외한 후에도 기사 수준의 효과는 여전히 유의미하게 유지되었다.
• 본 연구는 시스템이 기사 품질 향상에는 기여하지만, 편집자들이 위키백과의 언어 규범을 내면화하지 못함을 확인하였으며, 이는 규범 내면화의 격차를 시사한다.