[論文レビュー] Shamela: A Large-Scale Historical Arabic Corpus

Yonatan Belinkov, Alexander Magidow+3 more|arXiv (Cornell University)|Dec 28, 2016

Islamic Finance and Banking Studies参考文献 19被引用数 15

ひとこと要約

本稿では、1,400年にわたる歴史的アラビア語のコーパス「Shamela」を紹介する。このコーパスは、Al-Maktaba Al-Shamelaのデジタル図書館から抽出された10億語規模のもので、著者らはコーパスをクリーニングし、語彙素の標準化（レマルティゼーション）を施し、自動テキスト年代特定と並列本文検出を追加することで、アラビア語の言語的変遷に関する大規模なデジタル・ヒューマニティーズおよびNLP研究を可能にした。主な発見として、アラビア語の語彙素の平均寿命は1,124年であり、英語の語彙素の平均寿命（68年）に比べて著しく長いことが判明した。

ABSTRACT

Arabic is a widely-spoken language with a rich and long history spanning more than fourteen centuries. Yet existing Arabic corpora largely focus on the modern period or lack sufficient diachronic information. We develop a large-scale, historical corpus of Arabic of about 1 billion words from diverse periods of time. We clean this corpus, process it with a morphological analyzer, and enhance it by detecting parallel passages and automatically dating undated texts. We demonstrate its utility with selected case-studies in which we show its application to the digital humanities.

研究の動機と目的

• 書記アラビア語の全期間をカバーする大規模かつ歴史的メタデータが付与されたコーパスが不足しているという問題に応えること。
• 14世紀にわたるアラビア語の歴史的言語学的分析をコーパス駆動で可能にすること。
• アラビア文化および知的歴史に関するデジタル・ヒューマニティーズ研究を支援すること。
• 強化されたメタデータと正規化を用いることで、歴史的アラビア語テキスト向けのNLPアプリケーションを向上させること。
• 低リソース言語における歴史的テキストの自動年代特定および並列本文検出のスケーラブルな計算手法を開発すること。

提案手法

• Al-Maktaba Al-Shamelaのウェブサイトから、大規模なアラビア語テキスト公開アーカイブである10億語程度を抽出した。
• 自動テキストクリーニングと部分的な手動メタデータ強化（年次ラベル付けを含む）を実施した。
• 語形解析器を用いてすべての語を語彙素に変換し、意味的および構文的分析を可能にした。
• 言語モデルを用いて、1,200件の年代未定義テキストを高い精度で自動的に年代特定した。
• 計算的に効率的なアルゴリズムを実装し、コーパス全体にわたる近似的な並列本文を検出。頻出するコンテンツはフィルタリング処理を施した。
• 事例研究およびコンcordance分析を通じて、定量的および定性的に結果を検証した。

実験結果

リサーチクエスチョン

• RQ1 アラビア語における語彙素の寿命は、同等の歴史的期間をカバーする英語と比べてどのように異なるか？
• RQ2 自動言語モデルは、異なる歴史的時代に属する年代未定義のアラビア語テキストをどれほど正確に年代特定できるか？
• RQ3 大規模な歴史的アラビア語コーパスに存在する並列本文の種類は何か？また、それらはテキスト再利用や影響をどのように反映しているか？
• RQ4 語彙の意味的シフト（例：『ḥawālay』が物理的接近から数量的近似へと変化した例）の検出に、このコーパスはどのように寄与できるか？
• RQ5 計算手法は、低リソース言語の歴史的コーパスを、デジタル・ヒューマニティーズおよびNLP研究の分野でどのように強化できるか？

主な発見

• アラビア語の語彙素の平均寿命は1,124年（標準偏差：338年、中央値：1,222年）であり、これはコーパス全体の期間の約83％を占める。
• これに対して、COHAに収録された英語語彙素の平均寿命は68年（標準偏差：58、中央値：60）であり、コーパス期間の約36％にとどまる。
• 『ḥawālay』は1201年頃から物理的接近を指す用法で使用されており、中世期にはすでに数量的近似の用法が確立済みであり、現代的発明という主張とは矛盾する。
• 並列本文検出アルゴリズムにより、頻出コンテンツ1,860万語をフィルタリングした後、20語以上の長さの本文ペアで500万件以上の一致が同定された。
• 自動テキスト年代特定モデルは、定量的および定性的に検証された高品質な結果を達成しており、未年代指定テキストの時間的分解能が向上した。
• コーパスはGitHubのRAWrabicaコレクションで公開されており、再現性とさらなる研究を支援している。