[論文レビュー] 1.5 billion words Arabic Corpus

Ibrahim Abu El-khair|arXiv (Cornell University)|Nov 12, 2016

Language, Linguistics, Cultural Analysis被引用数 57

ひとこと要約

この論文は、14年間にわたり8か国にまたがる10の主要なニュースソースから500万件以上の新聞記事を収集して構築した15億語のアラビア語テキストコーパスを提示する。コーパスはUTF-8およびWindows CP-1256でエンコードされ、SGMLおよびXMLでマークアップされており、300万語以上の固有語を含む大規模かつ現代的なアラビア語NLP研究用リソースを提供する。

ABSTRACT

This study is an attempt to build a contemporary linguistic corpus for Arabic language. The corpus produced, is a text corpus includes more than five million newspaper articles. It contains over a billion and a half words in total, out of which, there is about three million unique words. The data were collected from newspaper articles in ten major news sources from eight Arabic countries, over a period of fourteen years. The corpus was encoded with two types of encoding, namely: UTF-8, and Windows CP-1256. Also it was marked with two mark-up languages, namely: SGML, and XML.

研究の動機と目的

• 多様な地域的ソースを反映する現代的な使用法を示す大規模かつ現代的なアラビア語言語コーパスの構築を目的とする。
• 14年間にわたり8か国にまたがる主なアラビア語新聞から、包括的なテキストコーパスを収集・構造化することを目的とする。
• 二重の文字エンコーディング（UTF-8およびCP-1256）と二重のマークアップ（SGMLおよびXML）を用いることで、言語的および技術的な強靭性を確保することを目的とする。
• 標準化された、アクセス可能なコーパスを提供することで、アラビア語NLP、デジタル図書館、および情報検索の研究を支援することを目的とする。
• 現代標準アラビア語の言語分析、言語モデル作成、計算処理の基盤リソースとしての役割を果たす。

提案手法

• 2000年から2014年までの14年間にわたり、8か国の10の主要アラビア語新聞からデータ収集を行う。
• 多様なソースおよびフォーマットにわたる一貫性を確保するため、テキスト抽出と正規化を実施する。
• 広範な互換性を確保するためUTF-8、レガシーアラビア語テキストシステムへの対応のためCP-1256を用いた二重エンコーディング。
• 言語的およびドキュメントレベルのメタデータを構造的に表現可能にするためにSGMLおよびXMLマークアップを適用する。
• 非テキスト的コンテンツの除去とデータ品質の確保を目的としたクリーニングおよび前処理。
• 学術的および計算的利用を想定し、検索可能でアクセス可能な形式にコーパスを保存・整理する。

実験結果

リサーチクエスチョン

• RQ1 多様な新聞ソースから、体系的かつ大規模な現代アラビア語コーパスをどのように構築できるか？
• RQ2 多言語・多地域のアラビア語テキストコーパスにおいて、言語的および計算的強靭性を確保するための技術的アプローチは何か？
• RQ3 15億語のコーパスが、言語モデル作成や情報検索といった高度なNLPタスクをどの程度サポートできるか？
• RQ4 二重エンコーディングおよび二重マークアップ標準は、アラビア語テキストコーパスの有用性と長期的持続可能性をどのように向上させるか？
• RQ5 異種のソースから標準化された大規模なアラビア語言語リソースを構築する際の課題とその解決策は何か？

主な発見

• コーパスは500万件を超える新聞記事から成り、15億語以上の語彙を含む、大規模な現代アラビア語テキストリソースである。
• コーパスには約300万語の固有語形が含まれており、現代標準アラビア語の広範な語彙カバレッジを示している。
• UTF-8およびCP-1256の二重エンコーディングにより、最新システムおよびレガシーシステムの両方との互換性が確保され、アクセス性が向上している。
• SGMLおよびXMLマークアップにより、構造的で機械可読な表現が可能となり、高度な処理およびメタデータ管理が可能になっている。
• コーパスは14年間（2000年～2014年）にわたり、8か国のアラビア語圏のコンテンツを含んでおり、地域的言語的変異を反映している。
• コーパスは、アラビア語NLP、デジタル図書館、および情報検索研究の基盤リソースとして、公開されている。