[논문 리뷰] Growing Wikipedia Across Languages via Recommendation

Ellery Wulczyn, Robert West외 2명|arXiv (Cornell University)|2016. 04. 12.

Wikis in Education and Collaboration참고 문헌 15인용 수 4

한 줄 요약

이 논문은 언어별로 자원이 부족한 위키백과 언어 편의에서 누락된 기사의 생성을 위한 종단 간 시스템을 제시한다. 이는 소스 언어(예: 영어)에 존재하지만 대상 언어(예: 프랑스어)에 없는 기사들을 식별하고, 페이지 조회 예측을 통해 중요도를 예측 정렬한 후, 편집 역사를 기반으로 편집자 개인화된 추천을 제공한다. 12,000명의 프랑스어 위키백과 편집자 대상으로 실시한 통제 실험에서, 개인화된 추천은 편집자 참여도를 두 배로 높였고 기사 생성 빈도는 3.2배로 증가시켰으며, 추천된 기사들은 자발적으로 생성된 기사들과 유사한 품질을 보였다.

ABSTRACT

The different Wikipedia language editions vary dramatically in how comprehensive they are. As a result, most language editions contain only a small fraction of the sum of information that exists across all Wikipedias. In this paper, we present an approach to filling gaps in article coverage across different Wikipedia editions. Our main contribution is an end-to-end system for recommending articles for creation that exist in one language but are missing in another. The system involves identifying missing articles, ranking the missing articles according to their importance, and recommending important missing articles to editors based on their interests. We empirically validate our models in a controlled experiment involving 12,000 French Wikipedia editors. We find that personalizing recommendations increases editor engagement by a factor of two. Moreover, recommending articles increases their chance of being created by a factor of 3.2. Finally, articles created as a result of our recommendations are of comparable quality to organically created articles. Overall, our system leads to more engaged editors and faster growth of Wikipedia with no effect on its quality.

연구 동기 및 목표

• 언어 편의 간 위키백과 콘텐츠 커버리지의 심각한 불균형 문제를 해결하기 위해, 대부분의 편의가 총 지식의 일부에만 포함되어 있음을 고려한다.
• 한 언어에 존재하지만 다른 언어에 누락된 기사들을 식별하여 자원이 부족한 위키백과 언어 편의 지식 격차를 줄이기 위해 노력한다.
• 개별 편집자의 관심사에 맞게 개인화된 추천을 통해 중요도가 높은 누락된 기사들을 제안하여 편집자 참여도와 기사 생성 빈도를 높인다.
• 자발적으로 생성된 콘텐츠와 비교하여 메트릭을 분석함으로써 추천된 기사가 높은 품질을 유지하고 장기적으로 지속 가능함을 보장한다.

제안 방법

• 위키데이터의 지식 그래프를 활용하여 언어에 종속되지 않는 개념을 식별하고, 언어별 위키백과 기사에 매핑함으로써 대상 언어에서 누락된 기사 탐지 가능하게 한다.
• 기사의 향후 페이지 조회 수를 예측하는 기계학습 모델을 훈련시켜, 중요도의 대체 지표로 활용한다.
• 편집자 과거 편집 활동과 누락된 기사의 주제 간 콘텐츠 기반 유사도를 계산하여 추천의 개인화를 수행한다.
• 이중 매칭 알고리즘을 사용하여 각 누락된 기사를 가장 관심 있는 편집자에게 할당함으로써, 동일한 기사가 여러 편집자에게 추천되지 않도록 하며, 각 편집자에게는 다수의 추천을 제공한다.
• 대규모 랜덤 이메일 실험을 구현하여 개인화된 추천이 편집자 참여도와 기사 생성에 미치는 영향을 평가한다.
• 자발적으로 생성된 기사와 비교하여 삭제율, 페이지 조회 수, 편집 품질을 분석함으로써 기사 품질을 검증한다.

실험 결과

연구 질문

• RQ1 개인화된 추천이 위키백과의 편집자 참여도를 유의미하게 증가시키는가?
• RQ2 개인화된 추천이 자원이 부족한 언어 편의 기사 생성 빈도를 어느 정도 증가시키는가?
• RQ3 추천에 반응하여 생성된 기사들이 자발적으로 생성된 기사들과 동등한 품질을 갖는가?
• RQ4 예측된 페이지 조회 수가 다국어 지식 격차 감소에 있어 기사 중요도의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ5 다양한 언어 편의 실제 편집자 인구집단에 확장했을 때 시스템의 성능은 어떠한가?

주요 결과

• 12,000명의 프랑스어 위키백과 편집자 대상 통제 실험에서 개인화된 추천은 편집자 참여도를 두 배로 증가시켰다.
• 기존 기준 대비 추천된 기사의 기사 생성 빈도는 3.2배로 증가하여 콘텐츠 성장에 상당한 기여를 했다.
• 추천된 기사들은 자발적으로 생성된 기사보다 삭제율이 낮고 페이지 조회 수가 더 높아 지속적인 관련성과 품질을 보였다.
• 추천에 반응하여 생성된 기사들은 자발적으로 생성된 기사들과 동등한 편집 품질을 보였으며, 콘텐츠 품질에 악영향을 주지 않았음을 확인했다.
• 예측된 페이지 조회 수를 향후 독자 수의 대체 지표로 사용하여, 중요도가 높은 누락된 기사들을 효과적으로 식별하고 우선순위를 매길 수 있었다.
• 이중 매칭 전략은 효율적인 추천 배포를 보장하여 관련성은 극대화하고 중복은 최소화했다.