[论文解读] Considerations for Multilingual Wikipedia Research

Isaac Johnson, Emily Lescak|arXiv (Cornell University)|Apr 5, 2022

Wikis in Education and Collaboration被引用 4

一句话总结

本文為自然語言處理與機器學習研究人員提供了使用多語言及多模態維基百科資料時的關鍵考量事項。文章識別出內容差異的三大來源——本地脈絡、社群與治理、技術——並提出責任型資料使用的最佳實務，同時強調合作性、以社群為導向的研究機會。

ABSTRACT

English Wikipedia has long been an important data source for much research and natural language machine learning modeling. The growth of non-English language editions of Wikipedia, greater computational resources, and calls for equity in the performance of language and multimodal models have led to the inclusion of many more language editions of Wikipedia in datasets and models. Building better multilingual and multimodal models requires more than just access to expanded datasets; it also requires a better understanding of what is in the data and how this content was generated. This paper seeks to provide some background to help researchers think about what differences might arise between different language editions of Wikipedia and how that might affect their models. It details three major ways in which content differences between language editions arise (local context, community and governance, and technology) and recommendations for good practices when using multilingual and multimodal data for research and modeling.

研究动机与目标

• 回應自然語言處理與機器學習研究中日益增加的多語言及多模態維基百科資料使用需求。
• 識別並解釋不同語言版本維基百科之間內容差異的主要來源。
• 協助研究人員在選擇與預處理維基百科資料集時，做出知情且負責任的決策。
• 促進與維基媒體社群的合作，確保研究能回饋並有益於產生資料的生態體系。
• 為未來預處理與資料整理實務的標準化奠定基礎指南。

提出的方法

• 透過三大核心面向分析不同語言版本之間的內容差異：本地脈絡、社群與治理、技術。
• 結合文獻、維基媒體內部研究與第一手經驗，說明這些差異如何影響資料品質與模型表現。
• 建議使用對齊語料庫——特別是跨語言文章對——以減少偏誤，提升多語言研究的可比性。
• 提出語言無關的特徵，例如 Wikidata ID、連結與結構化文章元件（如模板、分類），以提升低資源語言的建模表現。
• 提倡建立共享、開放原始碼的預處理工作流程，以統一各資料集之間的文字清理與解析標準。
• 鼓勵研究人員透過影像-文字配對與機器翻譯工具等計畫，回饋至維基媒體專案。

实验结果

研究问题

• RQ1 本地脈絡、社群治理與技術差異如何影響多語言維基百科版本之間的內容品質與代表性？
• RQ2 在多語言模型的訓練資料集中納入低品質或機器人生成的內容（例如，消歧義頁面、列表文章）會產生何種影響？
• RQ3 語言無關特徵（例如 Wikidata ID、文章連結）在低資源語言建模中能多大程度提升表現？
• RQ4 對齊語料庫（特別是跨語言文章對）如何提升多語言自然語言處理基準測試的公平性與一致性？
• RQ5 研究人員如何透過合作性、以社群為導向的研究計畫，回饋並支援維基媒體社群？

主要发现

• 不同語言版本維基百科的內容差異主要源自於本地脈絡（例如，文化相關主題）、社群與治理（例如，編輯規範與政策），以及技術（例如，工具、模板與呈現系統）。
• 許多語言版本，包括英文維基百科，仍包含大量機器人生成或低品質內容（例如，英文維基百科有 36,000 篇城鎮/城市文章），若未加以過濾，可能扭曲資料與模型表現。
• 語言無關特徵如 Wikidata ID 與文章連結，可促進跨語言的遷移學習，減少在低資源環境下對大規模平行資料的需求。
• 維基百科文字的預處理工作流程差異極大——從簡單的正規表示式腳本到複雜的模板擴展工具不等——導致資料集與模型之間出現不一致。
• 對齊語料庫（如性別對應的文章對或跨語言文章集）可隔離特定變數（例如性別偏誤），進而提升多語言評估的有效性。
• 與維基媒體社群合作研究——例如貢獻於影像-文字配對或機器翻譯工具——不僅能推動方法論進展，也能為維基媒體生態體系帶來實際效益。