[논문 리뷰] Assessing the Quality of Wikipedia Pages Using Edit Longevity and Contributor Centrality

Xiangju Qin, Pádraig Cunningham|arXiv (Cornell University)|2012. 06. 12.

Wikis in Education and Collaboration참고 문헌 19인용 수 7

한 줄 요약

이 논문은 위키백과 기사 품질 평가를 위해 편집 지속성(개별 기여자의 노력을 측정)과 네트워크 중심성(위키백과 대화 또는 공동저자 네트워크에서 기여자의 권위를 측정)을 결합하는 방법을 제안한다. 결과적으로 기여자 중심성의 통합이 품질 예측을 크게 향상시키며, 최고의 성능을 보인 모델은 정밀도-재현율 분석에서 기준 모델들을 능가한다. 특히 고품질의 '스타트' 및 '스터브' 기사 식별에 뛰어난 성능을 보인다.

ABSTRACT

In this paper we address the challenge of assessing the quality of Wikipedia pages using scores derived from edit contribution and contributor authoritativeness measures. The hypothesis is that pages with significant contributions from authoritative contributors are likely to be high-quality pages. Contributions are quantified using edit longevity measures and contributor authoritativeness is scored using centrality metrics in either the Wikipedia talk or co-author networks. The results suggest that it is useful to take into account the contributor authoritativeness when assessing the information quality of Wikipedia content. The percentile visualization of the quality scores provides some insights about the anomalous articles, and can be used to help Wikipedia editors to identify Start and Stub articles that are of relatively good quality.

연구 동기 및 목표

• 사용자가 콘텐츠 신뢰성에 대한 통찰을 확보하지 못할 때 위키백과 기사 품질 평가의 과제를 해결하기 위해.
• 네트워크 중심성으로 측정된 기여자의 권위성이 단순 편집 기여도를 넘어서 품질 평가를 향상시키는지 조사하기 위해.
• 낮은 공식 분류로 인해 간과당할 수 있는 고품질의 '스타트' 및 '스터브' 기사를 식별하기 위해.
• 편집 이력과 기여자의 네트워크 영향력을 모두 활용하는 품질 스코어 모델을 개발하기 위해.
• 편집자들이 품질 스코어 백분위수 기반으로 검토가 필요한 기사를 우선순위 정렬할 수 있도록 도구를 제공하기 위해.

제안 방법

• 편집 지속성은 기여자가 한 페이지에 할애하는 누적 시간으로 계산되며, 지속적인 기여를 반영한다.
• 기여자 권위성은 위키백과 대화 및 공동저자 네트워크에서 차수, 가까움, PageRank 중심성으로 측정된다.
• 각 기여자에 대해 편집 지속성과 중심성 지표를 조합하여 복합 품질 스코어를 생성한다.
• 세 가지 모델을 평가한다: 편집 지속성에 기반한 모델, PageRank 중심성에 기반한 모델, 양자를 통합한 복합 모델.
• 모델들은 위키프로젝트 역사에서 9,290개의 역사 관련 위키백과 기사에 대해 테스트되었으며, 이진 관련성 설정(FA, A, GA 대비 스타트, 스투브)을 사용한다.
• 모델 성능 평가에는 정밀도-재현율 곡선을 사용하며, 비교를 위해 NDCG 및 F1 스코어를 보고한다.

실험 결과

연구 질문

• RQ1 네트워크 중심성으로 측정된 기여자 권위성이 위키백과 기사 품질 예측을 향상시키는가?
• RQ2 편집 지속성과 네트워크 중심성을 통합함으로써 품질 평가 모델의 정확도는 어떻게 향상되는가?
• RQ3 품질 스코어가 현재 간과되고 있는 고품질의 '스타트' 및 '스터브' 기사를 어느 정도 식별할 수 있는가?
• RQ4 차수, 가까움, PageRank와 같은 다양한 중심성 지표는 기사 품질 예측에서 어떻게 비교되는가?
• RQ5 재편집이 지배적인 기록에서 현재의 편집 기여도 측정 방식은 어떤 한계를 갖는가?

주요 결과

• 편집 지속성과 기여자 중심성을 모두 통합한 복합 모델이 정밀도-재현율 분석에서 가장 높은 성능을 보였으며, 편집 지속성 또는 PageRank 중심성에 기반한 모델들보다 뛰어난 성능을 보였다.
• PageRank 기반 모델은 지속성 기반 모델보다 略적으로 낮은 성능을 보였으며, 중심성 지표만으로는 복합 측정 방식에 비해 덜 효과적임을 시사한다.
• 품질 스코어의 백분위수 시각화 결과 이상치 기사가 드러났으며, 이는 향후 향상 대상이 될 수 있는 고품질의 '스타트' 및 '스터브' 기사들을 포함하고 있었다.
• 연구에서는 재편집(예: 악성 편집 후 복원)이 편집 지속성 스코어를 왜곡시켜 기여자의 기여도 평가에 오류를 일으킬 수 있음을 밝혔다.
• 주로 높은 재편집 활동이 있는 페이지에서 지배적인 단일 기여자에 의한 편향을 줄이기 위해 |A_p| ≥ K 제약 조건이 적용되었다.
• 결과적으로 고품질 위키백과 기사들은 지속적인 기여와 공동 작업 네트워크에서 권위 있는 기여자의 활발한 참여를 동시에 특징으로 한다는 점이 제시되었다.