[논문 리뷰] Considerations for Multilingual Wikipedia Research

Isaac Johnson, Emily Lescak|arXiv (Cornell University)|2022. 04. 05.

Wikis in Education and Collaboration인용 수 4

한 줄 요약

이 논문은 자연어 처리 및 기계 학습 연구에서 다국어 및 다중모odal 위키백과 데이터를 사용할 때 연구자들이 고려해야 할 핵심 사항을 제공한다. 세 가지 주요 콘텐츠 변동 원인—지역적 맥락, 공동체 및 거버넌스, 기술—를 규명하며, 책임감 있는 데이터 사용을 위한 최선의 실천 방안을 제안하고, 공동체 중심의 협업 연구 기회를 강조한다.

ABSTRACT

English Wikipedia has long been an important data source for much research and natural language machine learning modeling. The growth of non-English language editions of Wikipedia, greater computational resources, and calls for equity in the performance of language and multimodal models have led to the inclusion of many more language editions of Wikipedia in datasets and models. Building better multilingual and multimodal models requires more than just access to expanded datasets; it also requires a better understanding of what is in the data and how this content was generated. This paper seeks to provide some background to help researchers think about what differences might arise between different language editions of Wikipedia and how that might affect their models. It details three major ways in which content differences between language editions arise (local context, community and governance, and technology) and recommendations for good practices when using multilingual and multimodal data for research and modeling.

연구 동기 및 목표

• 자연어 처리 및 기계 학습 연구에서 다국어 및 다중모달 위키백과 데이터의 사용 증가에 대응하기 위해.
• 다국어 위키백과 편찬 간의 주요 콘텐츠 변동 원인을 규명하고 설명하기 위해.
• 연구자가 위키백과 데이터셋을 선택하고 전처리할 때 정보에 기반한, 책임감 있는 결정을 내릴 수 있도록 지원하기 위해.
• 연구가 데이터를 생산한 생태계에 기여할 수 있도록 위키미디어 공동체와의 협업을 촉진하기 위해.
• 향후 전처리 및 데이터 셋 정제 실천 방식의 표준화를 위한 기초 가이드라인 수립하기 위해.

제안 방법

• 지역적 맥락, 공동체 및 거버넌스, 기술의 세 핵심 차원을 통해 언어별 위키백과 편찬 간의 콘텐츠 차이를 분석하기 위해.
• 문헌, 내부 위키미디어 연구 및 현장 경험을 바탕으로 이러한 차이가 데이터 품질과 모델 성능에 미치는 영향을 설명하기 위해.
• 다국어 연구에서 편향을 줄이고 비교 가능성을 높이기 위해 일치하는 코퍼스—특히 다국어 기사 쌍—의 사용을 권장하기 위해.
• 저자원 언어 모델링을 향상시키기 위해 위키데이터 ID, 링크, 구조화된 기사 구성 요소(예: 템플릿, 카테고리)와 같은 언어에 관계없는 기능을 제안하기 위해.
• 모든 데이터셋 간의 텍스트 정제 및 구문 분석을 표준화하기 위해 공유형 오픈소스 전처리 파이프라인 도입을 권장하기 위해.
• 이미지-캡션 매칭 및 기계 번역 도구 개선과 같은 기여 활동을 통해 연구자들이 위키미디어 프로젝트에 기여하도록 장려하기 위해.

실험 결과

연구 질문

• RQ1 지역적 맥락, 공동체 거버넌스, 기술의 차이가 다국어 위키백과 편찬 간의 콘텐츠 품질과 대표성에 어떤 영향을 미치는가?
• RQ2 저품질 또는 봇이 생성한 콘텐츠(예: 해석의 혼동을 피하기 위한 페이지, 목록형 기사)를 다국어 모델 학습 데이터셋에 포함시키는 데 어떤 영향을 미치는가?
• RQ3 언어에 관계없는 기능(예: 위키데이터 ID, 기사 링크)이 저자원 언어 모델링 성능 향상에 어느 정도 기여할 수 있는가?
• RQ4 일치하는 코퍼스—특히 다국어 기사 쌍—은 다국어 NLP 벤치마킹의 공정성과 일관성 향상에 어떻게 기여할 수 있는가?
• RQ5 연구자들은 공동체 중심의 협업 연구 이니셔티브를 통해 위키미디어 공동체에 어떤 방식으로 기여할 수 있는가?

주요 결과

• 위키백과 언어별 편찬 간의 콘텐츠 차이는 주로 지역적 맥락(예: 문화적으로 관련된 주제), 공동체 및 거버넌스(예: 편집 규범, 정책), 기술(예: 도구, 템플릿, 렌더링 시스템)에서 기인한다.
• 영어 위키백과를 포함한 많은 언어 편찬에서 여전히 봇이 생성하거나 저품질의 콘텐츠(예: 영어 위키백과의 36,000개의 도시/마을 기사)가 상당량 존재하며, 이를 걸러내지 않을 경우 데이터와 모델 성능에 왜곡을 초래할 수 있다.
• 위키데이터 ID 및 기사 링크와 같은 언어에 관계없는 기능은 언어 간 전이 학습을 가능하게 하여 저자원 환경에서 대규모 병렬 데이터가 필요로 하는 것을 줄여준다.
• 위키백과 텍스트 전처리 파이프라인은 간단한 정규표현식 스크립트에서 복잡한 템플릿 확장 도구에 이르기까지 다양하게 달라져, 데이터셋과 모델 간의 일관성 결여를 초래한다.
• 성별이 일치하는 기사 쌍이나 다국어 기사 세트와 같은 일치 코퍼스는 특정 변수(예: 성별 편향)를 고립시키고 다국어 평가의 타당성을 높일 수 있다.
• 위키미디어 공동체와의 협업 연구—예를 들어 이미지-캡션 매칭 또는 기계 번역 도구 기여—는 방법론적 진전을 이끌 뿐 아니라 위키미디어 생태계에 실질적인 이점을 제공할 수 있다.