[論文レビュー] Oral to Web: Digitizing 'Zero Resource'Languages of Bangladesh

Mohammad Mamun Or Rashid|arXiv (Cornell University)|Mar 5, 2026

Language and cultural evolution被引用数 0

ひとこと要約

本研究は、バングラデシュの42の少数言語に対する国家規模の並列マルチモーダルデータセットである Multilingual Cloud Corpus を提示する。テキスト注釈は85,792件、文字起こし音声は約107時間。

ABSTRACT

We present the Multilingual Cloud Corpus, the first national-scale, parallel, multimodal linguistic dataset of Bangladesh's ethnic and indigenous languages. Despite being home to approximately 40 minority languages spanning four language families, Bangladesh has lacked a systematic, cross-family digital corpus for these predominantly oral, computationally "zero resource" varieties, 14 of which are classified as endangered. Our corpus comprises 85792 structured textual entries, each containing a Bengali stimulus text, an English translation, and an IPA transcription, together with approximately 107 hours of transcribed audio recordings, covering 42 language varieties from the Tibeto-Burman, Indo-European, Austro-Asiatic, and Dravidian families, plus two genetically unclassified languages. The data were collected through systematic fieldwork over 90 days across nine districts of Bangladesh, involving 16 data collectors, 77 speakers, and 43 validators, following a predefined elicitation template of 2224 unique items organized at three levels of linguistic granularity: isolated lexical items (475 words across 22 semantic domains), grammatical constructions (887 sentences across 21 categories including verbal conjugation paradigms), and directed speech (862 prompts across 46 conversational scenarios). Post-field processing included IPA transcription by 10 linguists with independent adjudication by 6 reviewers. The complete dataset is publicly accessible through the Multilingual Cloud platform (multiling.cloud), providing searchable access to annotated audio and textual data for all documented varieties. We describe the corpus design, fieldwork methodology, dataset structure, and per-language coverage, and discuss implications for endangered language documentation, low-resource NLP, and digital preservation in linguistically diverse developing countries.

研究の動機と目的

• バングラデシュの少数言語の言語的多様性を4つの家族と2つの未分類言語にわたって文書化する。
• ベンガル語の刺激、英語訳、IPA転写、音声を組み合わせた国家規模の並列マルチモーダルコーパスを開発する。
• 非常に低資源設定での言語研究・言語保全・NLPを支援するWebアクセス可能な資源を提供する。
• データの品質と関連性を確保するためのデータ収集、転写、検証、コミュニティのフィードバックプロセスを説明する。

提案手法

• 三段階のコーパス構築：事前準備（Pre-Field）、現地作業（Fieldwork: Data Collection）、現地後の研究室作業（Post-Field Lab Work）。
• 跨言語間の比較を可能にするため、475語アイテム、887文アイテム、862の指向話促進を含む既定データセットテンプレートの設計。
• 分離語彙アイテム、文法構造、および指向/都市部の話し方を組み合わせたハイブリッド喚起手法により、構造化データと自然使用の両方を捉える。
• 正確さと一貫性を担保するための二段階審査プロセスを備えた言語学者チームによるIPAへの包括的転写。
• 検索可能なテキストデータ（Bangla、英語、IPA）とセグメント化された音声を含む Multiling.cloud での公開普及。
• 現地作業は7つのゾーンで9つの districts を跨ぎ、41言語から77人の話者からデータを収集した16名のデータ収集者。

実験結果

リサーチクエスチョン

• RQ1 複数言語系統にまたがる国家規模の並列コーパスをバングラデシュの少数言語で体系的に構築できるか？
• RQ2 極端に資源が少ない言語を文書化するための喚起テンプレートと現地作業のワークフローはどのように効果的か？
• RQ3 ウェブプラットフォーム（Multiling.cloud）は研究者とコミュニティのための大規模マルチモーダルコーパスのアクセス・保全・使いやすさをどう促進するか？

主な発見

• コーパスは85,792件の構造化テキストエントリ（ベンガル刺激テキスト、英語翻訳、IPA）と42言語変種にわたる約107時間の文字起こし音声を含む。
• 77名の話者と43名の検証者からデータを収集し、言語間で188の固有話者アイデンティティを取得。
• 言語別データは大量の網羅性を示し、42言語中29語が全22/22の語-話題カバーを達成し、27言語が全46/46の能動話題カバーを達成。
• 言語と方言の網羅レベルは異なり、複数の方言により3,900件超のエントリに達する言語もある（例：Kheyang、Marma）。
• 現地作業は9つの districtと7つのゾーンをカバーし、地理的多様性と特定地域（例：チッタゴン丘陵地帯）へのデータ集中を浮き彫りにしている。
• 音声コーパスはおよそ107時間を40言語に跨って総計し、音声では一部の言語対が組み合わせられている（例：Kokborok/Usui、テルグ語/マドラス語）。