[論文レビュー] NusaCrowd: Open Source Initiative for Indonesian NLP Resources

Samuel Cahyawijaya, Holy Lovenia+45 more|arXiv (Cornell University)|Dec 19, 2022

Natural Language Processing Techniques被引用数 9

ひとこと要約

NusaCrowd は、137 個のインドネシア語 NLP データセットと 118 個のデータローダーを統合・標準化する共同オープンソースイニシャチブであり、インドネシア語および地域言語における自然言語理解（NusaNLU）と生成（NusaNLG）のための最初のゼロショットベンチマーク、および最初のマルチリンガル ASR ベンチマーク（NusaASR）を可能にした。14 個のこれまで非公開であったデータセットを初公開し、テキスト、音声、画像モダリティにおける 19 語の言語で 100 種類以上のデータセットをサポートする。

ABSTRACT

We present NusaCrowd, a collaborative initiative to collect and unify existing resources for Indonesian languages, including opening access to previously non-public resources. Through this initiative, we have brought together 137 datasets and 118 standardized data loaders. The quality of the datasets has been assessed manually and automatically, and their value is demonstrated through multiple experiments. NusaCrowd's data collection enables the creation of the first zero-shot benchmarks for natural language understanding and generation in Indonesian and the local languages of Indonesia. Furthermore, NusaCrowd brings the creation of the first multilingual automatic speech recognition benchmark in Indonesian and the local languages of Indonesia. Our work strives to advance natural language processing (NLP) research for languages that are under-represented despite being widely spoken.

研究の動機と目的

• 散在し、文書化されておらず、非公開のデータセットが散在するインドネシア語 NLP リソースの深刻な不足と断片化に対処するため、それらを統合する。
• ラベル付きデータの不足と言語的多様性の欠如により、インドネシア語および地域言語が NLP 研究で過小評価されている問題を克服する。
• 標準化された高品質なベンチマークを構築することで、インドネシア語 NLP におけるゼロショットおよびフェイシュート転移学習を可能にする。
• キュレートされた音声コーパスを活用して、インドネシア語および地域言語向けのマルチリンガル音声認識（ASR）を前進させる。
• これまで非公開であったデータセットを公開し、インドネシア語 NLP リソースの持続可能なコミュニティ主導のインfra構築を促進することで、オープンサイエンスを推進する。

提案手法

• 学術的・機関的・民間のリポジトリなど多様なソースから、137 個のデータセットを体系的かつキュレートした。
• NusaCrowd Data Hub に標準化されたデータローダーを実装し、NLP フレームワークやモデル間での相互運用性を確保した。
• ネイティブスピーカーおよび NLP 専門家によるマニュアルおよび自動の品質評価を実施し、データセットの信頼性と一貫性を確保した。
• 12 種類のインドネシア語および地域言語で 40 個の NLU タスクと 40 個の NLG タスクを用いて、NusaNLU および NusaNLG ベンチマークを構築し、ゼロショット評価を可能にした。
• 10 種類のインドネシア語で約 800 時間分のマルチリンガル音声データを活用して NusaASR ベンチマークを構築し、単語言語およびマルチリンガル ASR モデルの学習を支援した。
• NusaCatalogue および NusaCrowd Data Hub をオープンソースプラットフォームとして公開し、長期的なアクセス性とコミュニティ貢献を確保した。

実験結果

リサーチクエスチョン

• RQ1 断片的かつ非公開のインドネシア語 NLP リソースを、標準化され、アクセス可能で、コミュニティが維持するプラットフォームに統合するにはどうすればよいか？
• RQ2 低リソースのインドネシア語および地域言語における自然言語理解と生成のためのゼロショット転移学習は、どの程度可能になるか？
• RQ3 テキスト、音声、画像モダリティにおける既存のインドネシア語 NLP データセットの質と多様性はどの程度か？
• RQ4 キュレートされたオープンアクセス音声コーパスを活用して、インドネシア語および地域言語向けのマルチリンガル ASR ベンチマークを構築できるか？
• RQ5 最先端のマルチリンガルモデルは、新たに導入されたインドネシア語 NLP タスクのゼロショットベンチマークでどの程度の性能を示すか？

主な発見

• NusaCrowd は 137 個のデータセットと 118 個の標準化されたデータローダーを統合し、これまでで最大の集中型リポジトリとしてインドネシア語 NLP リソースを形成した。
• このイニシャチブにより、14 個のこれまで非公開のデータセットが初公開され、低リソース言語のリソースベースが顕著に拡大した。
• NusaNLU ベンチマークは 12 語で 40 個の NLU タスクをカバーし、低リソース言語に焦点を当てたマルチリンガルモデルのゼロショット評価を可能にした。
• NusaNLG ベンチマークは 12 語で 40 個の自然言語生成タスクを含み、インドネシア語および地域言語における生成モデルの評価を支援した。
• NusaASR ベンチマークは 10 種類のインドネシア語で約 800 時間分の音声データを含み、マルチリンガル ASR モデルの開発を支援した。
• 収集したデータセットの包括的分析から、データの質、サイズ、言語的カバレッジに顕著な格差が明らかになった。これにより、標準化されたキュレーションとコミュニティ参加の必要性が強調された。