[論文レビュー] Google Crowdsourced Speech Corpora and Related Open-Source Resources for Low-Resource Languages and Dialects: An Overview

Alena Butryna, Shan-Hui Cathy Chu+19 more|arXiv (Cornell University)|Oct 13, 2020

Natural Language Processing Techniques被引用数 10

ひとこと要約

本論文は、南アジア・東南アジア、アフリカ、ヨーロッパ、南アメリカの低資源言語および絶滅危惧言語に対して、無料でオープンソースの音声コーパスを構築するためのクラウドソーシング手法を提示する。地元のコミュニティや大学と提携することで、38のデータセットから1,500時間以上の音声データを収集し、高品質な音声認識および音声合成システムの構築を可能にした。多言語モデルは、言語系統を超えた転移学習の可能性を示した。

ABSTRACT

This paper presents an overview of a program designed to address the growing need for developing freely available speech resources for under-represented languages. At present we have released 38 datasets for building text-to-speech and automatic speech recognition applications for languages and dialects of South and Southeast Asia, Africa, Europe and South America. The paper describes the methodology used for developing such corpora and presents some of our findings that could benefit under-represented language communities.

研究の動機と目的

• 低リソース言語および絶滅危惧言語の音声リソース不足に取り組むこと。特に、インターネット利用が拡大しているが、言語技術へのアクセスが限られている地域を対象とする。
• 地元のコミュニティがオープンソースツールとリリースされたデータセットを用いて、カスタム音声アプリケーションを構築できる、スケーラブルで再現可能な手法を開発すること。
• 地域言語の方言を対象としたコーパスを構築することで、支配的方言システムよりも地域コミュニティに適した音声技術の向上を図ること。
• 自動音声認識（ASR）および音声合成（TTS）アプリケーションの両方を支援すること。これらは、異なるデータ要件と品質基準を有する。
• リソースを無制限のライセンスでリリースし、コミュニティ主導のデータ収集および言語リソース開発を奨励することで、長期的な持続可能性を確保すること。

提案手法

• 地元の大学やコミュニティと提携し、多様な言語的・文化的背景を持つネイティブスピーカーから音声データを収集するためのクラウドソーシングを活用した。
• 高品質な音声と言語的多様性を確保するためのデータ収集プロトコルを設計し、年齢、性別、地域的差異を考慮したスピーカーのターゲット採用を実施した。
• ASRとTTSの二重的焦点を採用した。ASRには、多様な発音を有する多数のスピーカーを含む大規模なコーパスが必要であり、TTSには、明確な発音が特徴の高品質な記録が少ない必要がある。
• 関連言語系統（例：インダ・アーリアン語とドラヴィダ語）のコーパスを統合することで、転移学習を活用し、低リソース言語の性能を向上させた。
• PHOIBLEなどのオープンソースの言語型的リソースを統合し、音声的分析を支援するとともに、希少な言語専門知識への依存を低減した。
• すべてのデータセットをクリエイティブ・コモンズ・ライセンスでリリースし、研究者や地元開発者がリユース、変更、拡張できるようにした。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルでコミュニティ主導のクラウドソーシングモデルは、言語的インfraが限られている低リソース言語に対して、高品質な音声コーパスを効果的に生成できるか？
• RQ2 関連言語系統からの統合コーパスを用いて訓練された多言語モデルは、トレーニングセットに含まれない言語を含め、低リソースターゲット言語の性能をどの程度向上できるか？
• RQ3 オープンソースでコミュニティがカスタマイズ可能な手法をどのように設計すれば、地元の技術者たちが自らの言語用に音声技術を構築・拡張できるようになるか？
• RQ4 言語型的および音声的リソースは、低リソース言語環境における音声システム開発の入り口を下げる役割を果たすか？
• RQ5 言語的・文化的要因によってデータ量やスピーカーの多様性が制限される状況において、音声コーパスの品質と有用性を最適化する方法は何か？

主な発見

• 本プログラムは、南アジア・東南アジア、アフリカ、ヨーロッパ、南アメリカの言語・方言をカバーする38の音声コーパスを、合計1,500時間以上収集・リリースした。
• インド・アーリアン語とドラヴィダ語のコーパスを統合して訓練した多言語モデルは、直接的なトレーニングデータがなくても、オーディア語やパンジャーブ語のような低リソース言語の音声合成を可能にする転移学習の能力を示した。
• 複数言語の多スピークャー・クラウドソーシングコーパスを統合することで、初期性能が低くても、単一言語ベースラインを上回るモデル品質が実現された。
• オープンソースの言語型的リソース（PHOIBLEなど）の使用により、コーパス開発段階での言語的分析が著しく加速し、希少な専門知識への依存が低減した。
• 転移学習技術により、データ量が限られたり品質がばらつきが生じたりする状況でも、ディープラーニングモデルの低リソース言語への効果的適応が可能になった。
• 本プログラムの手法は再現可能でコミュニティフレンドリーであり、地元パートナーがデータ収集および品質保証において重要な役割を果たした。その結果、高品質で文化的に適切な音声データが得られた。