[論文レビュー] IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding

Bryan Wilie, Karissa Vincentio+9 more|arXiv (Cornell University)|Sep 11, 2020

Topic Modeling参考文献 32被引用数 192

ひとこと要約

IndoNLUは、12件のタスクを含む最初の大規模なインドネシア語NLUベンチマーク、新しい自己教師型Indo4Bコーパス、およびIndoBERT/IndoBERT-liteのベースラインを導入し、再現性のある評価のためのベンチマーク枠組みとリーダーボードを提供します。

ABSTRACT

Although Indonesian is known to be the fourth most frequently used language over the internet, the research progress on this language in the natural language processing (NLP) is slow-moving due to a lack of available resources. In response, we introduce the first-ever vast resource for the training, evaluating, and benchmarking on Indonesian natural language understanding (IndoNLU) tasks. IndoNLU includes twelve tasks, ranging from single sentence classification to pair-sentences sequence labeling with different levels of complexity. The datasets for the tasks lie in different domains and styles to ensure task diversity. We also provide a set of Indonesian pre-trained models (IndoBERT) trained from a large and clean Indonesian dataset Indo4B collected from publicly available sources such as social media texts, blogs, news, and websites. We release baseline models for all twelve tasks, as well as the framework for benchmark evaluation, and thus it enables everyone to benchmark their system performances.

研究の動機と目的

• インドネシア語NLPにおける資源不足を解消するため、多様でマルチタスクのベンチマークを提供し、インドネシア語自然言語理解（NLU）を促進する。
• インドネシア語に特化した言語モデルを訓練するための、大規模でクリーンなインドネシア語事前学習データセット（Indo4B）を作成する。
• ベースラインモデル（IndoBERTおよびIndoBERT-lite）を提供し、それらを多言語ベースラインと比較して強力なベンチマークを確立する。
• 再現可能なベンチマークフレームワークとアクセス可能なリーダーボードを提供し、透明性とコミュニティの参加を促進する。

提案手法

• 正式語と口語のインドネシア語に跨る、単一文および文ペア入力を含む12のNLUタスクを組み立て、分類とシーケンスラベリングを網羅します。
• Indo4B上で、128トークンと512トークンのシーケンス長を用いた2段階トレーニングで、インドネシア語単言語のBERT系およびALBERT系モデル（IndoBERTおよびIndoBERT-lite）を事前学習する。
• Scratch、fastText系、Multilingual BERT、XLM-R、XLM-MLM などの幅広いベースラインを、すべてのタスクでファインチューニングして評価し、分類とシーケンスラベリングにはmacro F1を用います。
• 再現可能な比較を可能にするためタスクの分割を標準化し、IndoNLUの結果の公開リーダーボードを公開します。
• インドネシア語データの品質を最大化するため、前処理と語彙選択（SentencePieceとBPE、インドネシア語特有の処理、Twitterデータのプライバシーマスキング）を提供します。

実験結果

リサーチクエスチョン

• RQ1 モデルやドメインを横断して評価を標準化する、多様でマルチタスクなインドネシア語NLUベンチマークを確立できますか？
• RQ2 インドネシア語NLUタスクで、単言語のIndoBERT/IndoBERT-liteは多言語モデルより優れていますか？どの設定でそうですか？
• RQ3 Indo4Bは、より大きいがノイズの多いコーパス（例: CC-ID）と比較して語彙埋め込みの事前学習にどのような影響を与え、下流タスクにどんな影響がありますか？
• RQ4 インドネシア語NLUモデルのモデルサイズ、速度（FLOPs）、精度のトレードオフはどのようなものですか？
• RQ5 入力シーケンス長を増やすと、シーケンスラベリングタスクの性能は向上しますか？

主な発見

• IndoBERT-LARGEとXLM-R-LARGEは分類タスクで最高の性能を達成する一方、XLM-R-LARGEとIndoBERT-LARGEがシーケンスラベリングタスクを牽引します。
• 事前学習済みの文脈モデルは、多くのタスクでScratchや語彙埋め込みベースラインを上回り、インドネシア語の事前学習の価値を示しています。
• IndoBERTモデルは分類タスクで多言語ベースラインを上回ることが多く、IndoBERT-liteは小型で競争力のある結果を提供します。
• Indo4BはCC-IDベースのデータセットより小さいにもかかわらず、CC-IDで訓練されたfastTextより下流性能が高くなります。
• Multilingualモデルは、借用語の取り扱いが有効な特定のシーケンスラベリングタスク（例：NERGrit、FacQA）で優れますが、単言語モデルは文レベルの意味論で優れています。
• 長い入力シーケンス（512トークン）はシーケンスラベリングタスクの性能を向上させ、拡張コンテキストの利点を示唆します。