[論文レビュー] Automatic Identification of Closely-related Indian Languages: Resources and Experiments

Ritesh Kumar, Bornini Lahiri+5 more|arXiv (Cornell University)|Mar 26, 2018

Authorship Attribution and Profiling参考文献 20被引用数 24

ひとこと要約

本論文は、インドの5つの密接に関連するインド・アリヤン語（アワジ、ホプルィ、ブラジ、ヒンディ、マガヒ）を対象とした最先端の言語識別システムを提示している。新しく編集された同等対応コーパスを用いて96.48%の正確性を達成した。また、これらの言語間における初めてのデータ駆動型語彙的類似性分析も実施し、自然言語処理の基盤リソースと、それら言語の言語的類縁関係に関する知見を提供した。

ABSTRACT

In this paper, we discuss an attempt to develop an automatic language identification system for 5 closely-related Indo-Aryan languages of India, Awadhi, Bhojpuri, Braj, Hindi and Magahi. We have compiled a comparable corpora of varying length for these languages from various resources. We discuss the method of creation of these corpora in detail. Using these corpora, a language identification system was developed, which currently gives state of the art accuracy of 96.48\%. We also used these corpora to study the similarity between the 5 languages at the lexical level, which is the first data-based study of the extent of closeness of these languages.

研究の動機と目的

• インドの5つの密接に関連するインド・アリヤン語（アワジ、ホプルィ、ブラジ、ヒンディ、マガヒ）を対象とした自動言語識別システムの開発。
• 多様な公開ソースから、長さの異なる多言語コーパスを編集・公開すること。
• これらの5言語間における初めてのデータベース語彙的レベルの類似性比較の実施。
• 構築されたコーパスを用いて、言語識別システムの性能を評価すること。
• 低リソースのインド語向けNLP研究を支援するため、公開可能な言語学的リソースの提供。

提案手法

• 著者らは、多様なオンラインソースから、各言語の同等対応単語コーパスを収集・整備し、言語間でのテクストの対応を保証した。
• トークン化、正規化、フィルタリングなどの標準的手法を適用して、後続のNLPタスクに適したコーパスを準備した。
• 言語識別には、n-gram特徴量と、収集したコーパスで学習された分類器を用いた教師あり機械学習手法を採用した。
• 交差検証とテストセットをコーパスから抽出し、保留データ上で正確性を測定することで、システムを評価した。
• 対応コーパスからの共起統計と共有語の重複度を用いて、言語間の語彙的類似性を定量化した。
• 構築されたデータセット上で特徴量工学とモデルチューニングを実施し、最先端の性能を達成した最終モデルが得られた。

実験結果

リサーチクエスチョン

• RQ1 アワジ、ホプルィ、ブラジ、ヒンディ、マガヒという5つの密接に関連するインド語の間で、語彙的類似性はどの程度か？
• RQ2 新しく編集された同等対応コーパスを用いて学習した機械学習ベースの言語識別システムは、どの程度効果的か？
• RQ3 1つのモデルが、これらの密接に関連する言語に高い正確性で一般化可能か？
• RQ4 計算的文脈において、これらの言語を区別するための主要な言語的特徴は何か？
• RQ5 類似した低リソース言語ペairに対して、既存の言語識別アプローチと比較して、本システムの性能はどの程度か？

主な発見

• 提案された言語識別システムは、収集した同等対応コーパスのテストセットで、最先端の96.48%の正確性を達成した。
• 語彙的類似性分析により、特にヒンディとマガヒ、そしてホプルィとアワジの間で語彙の重複が顕著に認められ、相互理解性が強いことが示された。
• コーパス編集プロセスにより、5言語すべてにわたる多様で対応したテキストサンプルが収集され、将来的なNLP研究の貴重なリソースとなった。
• モデルは短いテキストセグメントに対しても頑健な性能を示し、実世界の応用における実用的価値が浮き彫りになった。
• 本研究により、n-gram特徴量と丁寧なデータキュレーションを用いた教師あり学習が、低リソースかつ密接に関連する言語環境で高い正確性を達成できることを確認した。
• これらの5言語が顕著な言語的特徴を共有しており、それらを1つの識別フレームワークに統合することが正当化されることが、研究結果から裏付けられた。