[論文レビュー] NusaCrowd: A Call for Open and Reproducible NLP Research in Indonesian Languages

Samuel Cahyawijaya, Alham Fikri Aji+9 more|arXiv (Cornell University)|Jul 21, 2022

Software Engineering Research被引用数 4

ひとこと要約

NusaCrowdは、インドネシア語の自然言語処理（NLP）分野における集中型でオープンかつ再現可能な取り組みを提案する。NusaCatalogueというキュレート済みのデータシートレジストリと、標準化されたデータローダー（NusaCrowd Data Hub）を通じて、データセットを集約する。コミュニティ主導の貢献—データシートの提出、データローダーの実装、非公開データセットの公開—を可能にすることで、低リソースなインドネシア語NLP研究におけるデータ不足と断片化の問題を解決し、協働と再現可能性を促進する。

ABSTRACT

At the center of the underlying issues that halt Indonesian natural language processing (NLP) research advancement, we find data scarcity. Resources in Indonesian languages, especially the local ones, are extremely scarce and underrepresented. Many Indonesian researchers do not publish their dataset. Furthermore, the few public datasets that we have are scattered across different platforms, thus makes performing reproducible and data-centric research in Indonesian NLP even more arduous. Rising to this challenge, we initiate the first Indonesian NLP crowdsourcing effort, NusaCrowd. NusaCrowd strives to provide the largest datasheets aggregation with standardized data loading for NLP tasks in all Indonesian languages. By enabling open and centralized access to Indonesian NLP resources, we hope NusaCrowd can tackle the data scarcity problem hindering NLP progress in Indonesia and bring NLP practitioners to move towards collaboration.

研究の動機と目的

• 特に地方言語を対象とした、インドネシア語NLPデータセットの深刻な不足と断片化を是正すること。
• インドネシア語NLP研究分野における、公開可能で検索可能かつ再利用可能なデータセットの不足を是正すること。
• データの検索可能性、相互運用性、再現可能性を向上させるために、集中型でオープンアクセスのプラットフォームを構築すること。
• 構造的な貢献経路と透明なスコアリングシステムを通じて、コミュニティの協働を促進すること。
• 貢献ポイントと承認をインcentiveとして、非公開データセットの公開を促進すること。

提案手法

• データシートフレームワークを模倣した検索可能なWebポータル「NusaCatalogue」に、公開済みNLPデータセットのメタデータ（データシート）をキュレートしてホスティングすること。
• GitHubを介して各データセット用の標準化されたプログラム的データローダースクリプトを実装し、一貫性があり再現可能なデータアクセスを保証すること。
• 自動チェックと提出物の手動レビューを組み合わせたハイブリッド評価システムにより、品質管理を実施すること。
• 貢献ポイント制度を導入して参加を奨励し、データシートの提出、データローダーの実装、非公開データセットの公開に対してポイントを付与すること。
• 元のライセンスを保持し、直接元のリポジトリおよび出版物にリンクすることで、データの整合性を維持すること。
• 6月25日から11月18日までの期間限定で、コミュニティ主導の運動として組織化し、週次で進捗を追跡し、最終論文をACL 2023に提出すること。

実験結果

リサーチクエスチョン

• RQ1 集中型でコミュニティ主導のキュレートによって、インドネシア語NLPにおけるデータ不足と断片化はどのように軽減可能か？
• RQ2 標準化されたオープンアクセスプラットフォームは、インドネシア語NLPデータセットの検索可能性と再現可能性をどの程度向上させるか？
• RQ3 貢献ポイント制度は、研究者が非公開または未利用のNLPデータセットを共有する動機づけにどの程度効果をもたらすか？
• RQ4 協働的でオープンなフレームワークは、多様なインドネシア語と機関に散在するNLPリソースを効果的に統合できるか？
• RQ5 標準化されたデータローダーとメタデータは、相互運用性を向上させ、インドネシア語NLP研究の参入障壁をどの程度低減できるか？

主な発見

• NusaCrowdは、NusaCatalogueとNusaCrowd Data Hubを通じて、インドネシア語NLPデータセットの集中型でオープンアクセスのプラットフォームを成功裏に構築した。
• この取り組みにより、複数のインドネシア語の言語を対象とした、コミュニティ主導の貢献—データシートの提出やデータローダーの実装—が可能になった。
• データシートの提出、データローダー開発、非公開データセットの公開に対してポイントが付与される透明な貢献ポイント制度が実装された。
• 元のライセンスを保持し、直接元のリポジトリおよび出版物にリンクすることで、データの整合性が維持された。
• 最終的な貢献マトリクスとACL 2023に提出された研究論文を通じて、低リソース環境における大規模な協働的NLPデータキュレートの可能性が実証された。
• Slack、WhatsApp、GitHubを通じたコミュニティの形成が進んでおり、継続的な関与の可能性が示唆された。