[논문 리뷰] Assessing the Value of Coooperation in Wikipedia

Dennis M. Wilkinson, Bernardo A. Huberman|ArXiv.org|2007. 02. 23.

Wikis in Education and Collaboration참고 문헌 14인용 수 32

한 줄 요약

이 논문은 위키백과의 공동 편집 과정이 간단한 확률적 메커니즘—편집이 또 다른 편집을 유도함—을 따르며, 편집 수의 로그노멀 분포를 초래하고, 특히 높은 편집 수를 가진 기사들이 두드러지게 풍부한 편집을 보인다는 것을 보여준다. 핵심적으로 이는 높은 편집 수와 기사 품질 간의 강한 상관관계를 입증하며, 위키백과가 성공적인 대규모 협업 지식 체계임을 확인한다.

ABSTRACT

Since its inception six years ago, the online encyclopedia Wikipedia has accumulated 6.40 million articles and 250 million edits, contributed in a predominantly undirected and haphazard fashion by 5.77 million unvetted volunteers. Despite the apparent lack of order, the 50 million edits by 4.8 million contributors to the 1.5 million articles in the English-language Wikipedia follow strong certain overall regularities. We show that the accretion of edits to an article is described by a simple stochastic mechanism, resulting in a heavy tail of highly visible articles with a large number of edits. We also demonstrate a crucial correlation between article quality and number of edits, which validates Wikipedia as a successful collaborative effort.

연구 동기 및 목표

• 위키백과 기사의 편집 누적에 기여하는 근본적 메커니즘을 이해하기 위해.
• 기사 연령과 가시성에 영향을 받지 않고도 편집 수가 기사 품질과 상관관계가 있는지 평가하기 위해.
• 공식적인 감독이 없는 개방형, 비감독형 협업 모델이 비록 감독이 없더라도 고품질 콘텐츠를 생산하는지 평가하기 위해.
• 편집 수의 무거운 尾(꼬리) 분포가 고품질 기사의 집중을 반영하는지 확인하기 위해.
• 편집자 수와 편집 수가 대규모 협업 시스템에서 기사 품질의 신뢰할 수 있는 대체 지표가 될 수 있는지 조사하기 위해.

제안 방법

• 편집 누적 모델링을 위한 확률적 미분방정식 사용: Δn(t) = [a + ξ(t)]n(t), 여기서 n(t)는 시간 t에 대한 편집 수, a는 일정한 기본 비율, ξ(t)는 평균이 0인 랜덤 변동성.
• 각 기사의 편집 수의 로그를 로그노멀 분포에 적합시키며, 기사 연령 t에 따라 선형적으로 변하는 매개수 μ(t)와 σ²(t)를 사용.
• 기사 연령를 보정하고 기사 간 상대적 편집 수를 비교하기 위해 z-점수를 사용한 편집 수 정규화: x(A) = (log n(A) − μ(t)) / σ(t).
• 커뮤니티가 최고 품질로 선정한 '피처 기사'와 비피처 기사 간의 연령 및 가시성 보정 편집 수 비교.
• 기사 가시성 및 관련성의 대체 지표로 구글 페이지랭크를 사용하고, 편집 수 및 편집자 수와의 상관관계 분석.
• 각 400개 기사의 시간 단위 샘플에 대해 카이제곱 적합도 검정을 실시하며, 우도 비율 통계량을 사용하고, 기대 빈도가 8 이상이 되도록 구간 설정.

실험 결과

연구 질문

• RQ1 위키백과 기사의 편집 누적에 기여하는 확률적 과정은 무엇인가?
• RQ2 기사 연령과 가시성에 영향을 받지 않고도 편집 수와 기사 품질 간에 유의미한 상관관계가 있는가?
• RQ3 비례적으로 높은 편집 수를 가진 기사들이 더 높은 품질의 콘텐츠를 나타내는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 다양한 편집자 수와 기사 품질 간의 관계는 어떠하며, 이를 신뢰할 수 있는 품질 지표로 사용할 수 있는가?
• RQ5 기사 가시성(페이지랭크로 측정)이 위키백과에서 편집 수와 품질 인식에 얼마나 영향을 미치는가?

주요 결과

• 위키백과 기사의 편집 누적은 새로운 편집이 현재 편집 수에 비례하는 단순한 확률적 메커니즘을 따르며, 이로 인해 기사 간 편집 수의 로그노멀 분포가 발생한다.
• 편집 수에 대한 로그노멀 적합은 통계적으로 유의미하며, p-값은 400개 기사의 시간 단위 샘플에서 좋은 적합도를 나타내며, 이는 확률 모델의 타당성을 뒷받침한다.
• 편집 수가 비례적으로 높은 기사들—즉, 분포의 무거운 꼬리 부분—는 커뮤니티가 선정한 '피처 기사'와 비교했을 때 더 높은 품질을 보이며, 이는 확인되었다.
• 편집 수와 별개의 편집자 수 간에 강한 상관관계가 있으며, 이 두 지표 모두 연령과 가시성에 보정된 후에도 피처 기사에서 유의미하게 높은 수준을 유지한다.
• 모든 페이지랭크 수준에서 피처 기사의 정규화된 편집 수(z-점수)는 비피처 기사보다 일관되게 높으며, 이는 고품질 기사가 더 지속적인 협업적 노력에 끌린다는 것을 시사한다.
• 페이지랭크와 편집 수 및 편집자 수의 로그 사이에 거의 선형 관계가 존재하며, 이는 가시성과 품질이 위키백과 생태계 내에서 밀접하게 연결되어 있음을 시사한다.