[論文レビュー] Multilingual Open Text Release 1: Public Domain News in 44 Languages

Chester Palen-Michel, June Kim+1 more|arXiv (Cornell University)|Jan 14, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

本論文は、2001年から2002年までの期間にかけて、ボイス・オブ・アメリカのパブリックドメインのニュースWebサイトから収集された、44か国語で構成される280万件以上のニュース記事および100万件の短いスニペットを含む、公開可能で許可が明示されたコーパス「Multilingual Open Text (MOT) Release 1」を紹介する。このコーパスは、特定の低リソース言語についても信頼性の高い文分割とトークン化を備えており、未発達言語における自然言語処理（NLP）モデルの学習および評価に、高品質でスケーラブルなリソースを提供する。

ABSTRACT

We present Multilingual Open Text (MOT), a new multilingual corpus containing text in 44 languages, many of which have limited existing text resources for natural language processing. The first release of the corpus contains over 2.8 million news articles and an additional 1 million short snippets (photo captions, video descriptions, etc.) published between 2001--2022 and collected from Voice of America's news websites. We describe our process for collecting, filtering, and processing the data. The source material is in the public domain, our collection is licensed using a creative commons license (CC BY 4.0), and all software used to create the corpus is released under the MIT License. The corpus will be regularly updated as additional documents are published.

研究の動機と目的

• 自然言語処理（NLP）における低リソース言語の高品質かつ公開可能なテキストデータの不足を解消すること。
• 一貫性と品質を保証するため、信頼できるニュースソースから得た、信頼性の高い、許可が明示された多言語コーパスを構築すること。
• 言語固有のツールやカスタムモデルを用いて、低リソース言語における文分割とトークン化のサポートを強化すること。
• 下流のNLPタスク（言語識別、テキスト分類、固有表現抽出など）を支援する、スケーラブルで定期的に更新されるリソースを提供すること。
• 未発達言語における多言語モデルの学習基盤と、準平行またはアノテーション付きデータセットの作成基盤を提供すること。

提案手法

• 2001年から2022年までの間、ボイス・オブ・アメリカの多言語ニュースWebサイトからパブリックドメインのコンテンツを収集した。
• 出版日時やソースURLなどのメタデータを保持するスケーラブルなスクレイピングパイプラインを実装した。
• 低リソース言語における信頼性の高いトークン化と文分割を実現するため、PyThaiNLP、amseg、Stanzaなどの言語固有ツールを活用した。
• 多言語モデルで十分にサポートされていない言語について、MOTの段落区切りを学習データとして用いたカスタムErsatzモデルを訓練した。
• データ品質を確保し、非テキストまたは低品質なコンテンツを除外するため、フィルタリングと重複削除処理を実施した。
• コーパスをCC BY 4.0の下で公開し、すべての処理ソフトウェアをMITライセンスでオープンソース化することで、再現性と再利用性を確保した。

実験結果

リサーチクエスチョン

• RQ1 一貫性と品質を保証する、単一の許可が明示されたニュースソースから、大規模かつ高品質な多言語コーパスを構築し、低リソースNLPに活用できるか？
• RQ2 既存のNLPツールが限られている低リソース言語において、信頼性の高い文分割とトークン化をどのように達成できるか？
• RQ3 特化したソースからのコーパスが、ウェブクローリングで得たコーパスに比べて、低リソース言語においてデータ品質と一貫性の面で優れている程度はどの程度か？
• RQ4 許可が明示された、公開可能なコーパスが、低リソース言語の研究者や話者にとってのNLP研究への参入障壁をどれほど低減できるか？
• RQ5 ドメイン特化したテキストから学習したカスタムErsatzモデルは、未発達言語における文分割にどの程度効果的か？

主な発見

• MOT Release 1 コーパスには、44か国語で280万件以上のニュース記事と100万件の短いスニペットが含まれており、ハッサ、オロモ、ティグリニア、キニヤルワンダなど、多くの低リソース言語が含まれている。
• アムハラ語やティグリニア語に特化したamseg、タイ語に特化したPyThaiNLPなどの専用ツールを用いて、18か国語で信頼性の高い文分割とトークン化を達成した。
• 出版時刻のメタデータとソースURLが含まれており、準平行テキスト作成や時系列分析への応用が可能である。
• MOTの段落区切りを学習データとして用いたカスタムErsatzモデルは、多言語モデルで十分にサポートされていない言語の文分割性能を向上させた。
• コーパスはCC BY 4.0、処理ソフトウェアはMITライセンスで公開されており、研究分野における広範なアクセスと再利用を可能にしている。
• 多言語モデル（例：Ersatz）がアムハラ語／ティグリニア語のGe’ez文字やギリシャ語の標点記号を正しく処理できないという限界が明らかになったため、言語固有のツールの使用が正当化された。