[論文レビュー] The WiLI benchmark dataset for written language identification

Martin Thoma|arXiv (Cornell University)|Jan 23, 2018

Natural Language Processing Techniques参考文献 3被引用数 13

ひとこと要約

本論文は、235か国語の単語を含む23万5千件の短いウィキペディアの段落から構成される、公開可能なベンチマークデータセットであるWiLI-2018を紹介する。これは、単語の文章識別（LID）のためのモデルの学習と評価を可能にし、再現可能性と体系的な比較に重点を置いている。人工言語は除外され、Unicode正規化とトレーニング・テストセット間の一貫した言語分割を重視している。

ABSTRACT

This paper describes the WiLI-2018 benchmark dataset for monolingual written natural language identification. WiLI-2018 is a publicly available, free of charge dataset of short text extracts from Wikipedia. It contains 1000 paragraphs of 235 languages, totaling in 23500 paragraphs. WiLI is a classification dataset: Given an unknown paragraph written in one dominant language, it has to be decided which language it is.

研究の動機と目的

• 言語識別（LID）のための公開可能で再現可能なベンチマークデータセットを提供し、LIDモデルの体系的評価と公平な比較を支援すること。
• LID研究分野において、公開共有されたベンチマークデータセットの不足が再現可能性と分野の進展を妨えているという問題に対処すること。
• トレーニングとテストに同じ言語を含む一貫した言語分割を備えた標準化されたデータセットを構築し、既知の言語におけるモデルの一般化能力を評価すること。
• 人工的または非自然な言語（例：HTML、JSON、XML）を除外し、造語や絶滅した言語も含む自然な書言語に焦点を当てる。
• 多様な言語系統や、密接に似た言語対（例：セルビア語／クロアチア語／ボスニア語）や、類似したスクリプト（例：マレー語／インドネシア語）を含む言語の評価を支援すること。

提案手法

• データセットは、言語的多様性と235か国語のカバーを確保するため、ウィキペディア記事から抽出された短く代表的なテキスト抜粋から構成される。
• 各段落は、結合文字やダイアクリティックを標準化するため、Unicode正規化形式C（NFC）で事前処理される。
• トレーニング・テストセットに同じ言語セットを含むように分割され、未知の言語を予測する必要がなくなる。
• コード、マークアップ、SNS投稿のような非公式な言語を除き、自然な言語を代表するテキストが選択される。
• 言語の進化を反映し、長期にわたり関連性を保つために、データセットは毎年バージョン管理される（例：WiLI-2018）。
• 精度やF1スコアといった指標を用いて、n-gram、ナイーブベイズ、ニューラルアプローチなどのさまざまなLIDモデルの評価をサポートする。

実験結果

リサーチクエスチョン

• RQ1 235か国語の規模が大きく多様性に富んだ、公開可能なベンチマークにおいて、既存のLIDシステムはどの程度効果的か？
• RQ2 WiLI-2018で学習したモデルは、類似したが異なる言語（例：ブラジルポルトガル語対ヨーロピアンポルトガル語）にどの程度一般化できるか？
• RQ3 n-gram、tf-idf、文字レベル特徴量といった異なる特徴工学戦略が、このデータセットにおけるLIDパフォーマンスに与える影響は何か？
• RQ4 WiLI-2018で学習したモデルは、テキストが未知の言語に属するかどうかを信頼性高く検出できるか？また、その改善方法は何か？
• RQ5 テキスト長さやトレーニングサンプルサイズは、低リソース言語やマイノリティ言語におけるLIDモデルのパフォーマンスにどのように影響するか？

主な発見

• CLD2は、WiLI-2018ベンチマークで100か国語をサポートする最速のLIDシステムであるが、セルビア語、ボスニア語、クロアチア語のように密接に似た言語を混同する。
• Langdetectは、WiLI-2018で55か国語をサポートしており、標準中国語のリCALLはわずか51％であり、現代標準ウルドゥー語をアラビア語と誤認することが多い。
• Google Cloud Translation API や detectlanguage.com といったオンラインサービスは、WiLI-2018より多くの言語をサポートしているが、言語カバー範囲に顕著な重複と不一致がある。
• n-gramと「場所外」指標を用いたTextCatシステムは、希少n-gramの問題とスクリプト認識の欠如により、低いパフォーマンスを示す。
• tf-idf特徴量は、「場所外」指標よりも言語の特徴抽出に優れており、特に「über」（ドイツ語）のような強力な言語的インジケーター（例：ダイアクリティック）をよりよく捉える。
• 今後のWiLI-2018を用いた研究では、RNNやマルコフモデルの評価、および低リソース言語やマイノリティ言語において、既知の言語と未知の言語を区別できるモデルの構築を予定している。