[論文レビュー] Considerations for Multilingual Wikipedia Research

Isaac Johnson, Emily Lescak|arXiv (Cornell University)|Apr 5, 2022

Wikis in Education and Collaboration被引用数 4

ひとこと要約

本論文は、自然言語処理および機械学習研究における多言語・マルチモodalなウィキペディアデータの使用に関して、研究者が考慮すべき重要な点を提示する。コンテンツの変動の主な3要因（地域的文脈、コミュニティおよびガバナンス、技術）を特定し、責任あるデータ利用のためのベストプラクティスを提示するとともに、協働的でコミュニティに根ざした研究の機会を強調している。

ABSTRACT

English Wikipedia has long been an important data source for much research and natural language machine learning modeling. The growth of non-English language editions of Wikipedia, greater computational resources, and calls for equity in the performance of language and multimodal models have led to the inclusion of many more language editions of Wikipedia in datasets and models. Building better multilingual and multimodal models requires more than just access to expanded datasets; it also requires a better understanding of what is in the data and how this content was generated. This paper seeks to provide some background to help researchers think about what differences might arise between different language editions of Wikipedia and how that might affect their models. It details three major ways in which content differences between language editions arise (local context, community and governance, and technology) and recommendations for good practices when using multilingual and multimodal data for research and modeling.

研究の動機と目的

• 自然言語処理および機械学習研究における多言語・マルチモーダルなウィキペディアデータの使用が増加する状況に対処すること。
• ウィキペディアの言語別エディションに見られるコンテンツ変動の主な要因を特定し、説明すること。
• 研究者がウィキペディアデータセットを選定・前処理するにあたり、情報に基づいた責任ある意思決定を下せるように支援すること。
• 研究がデータを生み出したエコシステムに利益をもたらすよう、ウィキメディアコミュニティと協働することを促進すること。
• 今後の前処理およびデータキュレーションの標準化に向けた基盤的ガイドラインを確立すること。

提案手法

• 地域的文脈、コミュニティおよびガバナンス、技術の3つのコア次元を通じて、言語別エディション間のコンテンツ差異を分析すること。
• 文献、ウィキメディア社内研究、および第一線での経験を基に、これらの差異がデータ品質およびモデル性能に与える影響を説明すること。
• 多言語研究におけるバイアス低減と比較可能性の向上を目的として、マッチドコーパス（特にクロスリンガル記事ペア）の使用を推奨すること。
• 低リソース言語のモデリングを強化するため、ウィキデータID、リンク、構造化された記事要素（例：テンプレート、カテゴリ）といった言語に依存しない特徴の活用を提言すること。
• テキストクリーニングおよび解析の標準化を図るため、共有型でオープンソースの前処理パイプラインの導入を提唱すること。
• 画像・キャプション一致や機械翻訳ツールの開発など、ウィキメディアプロジェクトに貢献する取り組みを通じて、研究者自身がコミュニティに還元することを奨励すること。

実験結果

リサーチクエスチョン

• RQ1 地域的文脈、コミュニティガバナンス、技術の違いが、多言語ウィキペディアエディション間のコンテンツ品質および代表性にどのように影響するか？
• RQ2 低品質またはボット生成コンテンツ（例：曖昧さ除きページ、リスト記事）をトレーニングデータセットに含めることで、多言語モデルにどのような影響が生じるか？
• RQ3 ウィキデータIDや記事リンクといった言語に依存しない特徴は、低リソース言語のモデリング性能をどの程度向上させ得るか？
• RQ4 マッチドコーパス（特にクロスリンガル記事ペア）は、多言語NLPベンチマークの公平性および一貫性をどの程度向上させ得るか？
• RQ5 研究者が、協働的でコミュニティ主導の研究イニシアチブを通じて、ウィキメディアコミュニティにどのように貢献できるか？

主な発見

• ウィキペディアの言語別エディション間のコンテンツ差異は、主に地域的文脈（例：文化的に重要なトピック）、コミュニティおよびガバナンス（例：編集のルールや方針）、技術（例：ツール、テンプレート、レンダリングシステム）に起因する。
• 英語ウィキペディアを含む多くの言語エディションには、依然としてボット生成または低品質なコンテンツ（例：英語ウィキペディアに36,000件の町・都市記事）が多数存在し、適切にフィルタリングされない場合、データおよびモデルのパフォーマンスに歪みをもたらす可能性がある。
• ウィキデータIDや記事リンクといった言語に依存しない特徴は、言語間の転移学習を可能にし、低リソース環境における大規模な並列データの必要性を低減する。
• ウィキペディアテキストの前処理パイプラインは、単純な正規表現スクリプトから複雑なテンプレート展開ツールまで多様であり、これによりデータセットおよびモデル間の不一致が生じている。
• マッチドコーパス（例：性別が一致する記事ペア、クロスリンガル記事セット）は、特定の変数（例：性別バイアス）を隔離し、多言語評価の妥当性を向上させることができる。
• ウィキメディアコミュニティと協働する研究（例：画像・キャプション一致や機械翻訳ツールの開発）は、方法論的進展と同時に、ウィキメディアエコシステムへの実質的利点をもたらす可能性がある。