[論文レビュー] Indic-Transformers: An Analysis of Transformer Language Models for Indian Languages

Kushal Jain, Adwait Deshpande+3 more|arXiv (Cornell University)|Nov 4, 2020

Topic Modeling被引用数 24

ひとこと要約

この論文は、ヒンディー語、ベンガル語、テルグ語のための微調整済み単語言語モデル—BERT、DistilBERT、RoBERTa、XLM-RoBERTa—を提案・評価し、文書分類において最先端の結果を達成した。全モデルの微調整と、下流分類器と組み合わせた特徴抽出器としての使用を比較し、限られたデータでも競争力のある性能が達成可能であることを示した。また、コミュニティ利用を目的としてモデルのチェックポイントと統合済みQAデータセットを公開した。

ABSTRACT

Language models based on the Transformer architecture have achieved state-of-the-art performance on a wide range of NLP tasks such as text classification, question-answering, and token classification. However, this performance is usually tested and reported on high-resource languages, like English, French, Spanish, and German. Indian languages, on the other hand, are underrepresented in such benchmarks. Despite some Indian languages being included in training multilingual Transformer models, they have not been the primary focus of such work. In order to evaluate the performance on Indian languages specifically, we analyze these language models through extensive experiments on multiple downstream tasks in Hindi, Bengali, and Telugu language. Here, we compare the efficacy of fine-tuning model parameters of pre-trained models against that of training a language model from scratch. Moreover, we empirically argue against the strict dependency between the dataset size and model performance, but rather encourage task-specific model and method selection. We achieve state-of-the-art performance on Hindi and Bengali languages for text classification task. Finally, we present effective strategies for handling the modeling of Indian languages and we release our model checkpoints for the community : https://huggingface.co/neuralspace-reverie.

研究の動機と目的

• インドの言語がNLP研究において不足している現状に対処するため、ヒンディー語、ベンガル語、テルグ語のための単語言語モデルを訓練・評価すること。
• 全事前学習済みモデルの微調整と、タスク固有のヘッドを備えた特徴抽出器としての使用との間で性能を比較すること。
• 低リソースなインドの言語環境下で、データセットサイズがモデル性能を決定づけるかどうかを調査すること。
• 訓練済みモデルのチェックポイントと、統合済みQAデータセット（mergedQuAD）を公開し、インドの言語NLP研究の今後の支援を行うこと。

提案手法

• ヒンディー語、ベンガル語、テルグ語のための、大規模な単語言語テキスト上で、4つの単語言語Transformer変種—BERT、DistilBERT、RoBERTa、XLM-RoBERTa—を訓練した。
• データ量と微調整戦略を変化させた3つの実験的設定を用いて、3つの下流タスク（品詞タグ付け、文書分類、質疑応答）でモデルを評価した。
• 多言語モデル（例：mBERT、XLM-RoBERTa）と比較することで、単語言語モデルの相対的性能向上を評価した。
• 文脈的埋め込みの上に、LSTM、BiLSTM、全結合層、Transformerといった異なるニューラルヘッドを用い、特徴抽出の有効性を評価した。
• RoBERTaでByte-Level BPEトークナイゼーションを採用し、特に質疑応答タスクにおけるその影響を分析した。
• Hugging Faceでモデルのチェックポイントを公開し、ヒンディー語用に統合されたXQuADとMLQAデータセットをオープンソース化した（mergedQuAD）。

実験結果

リサーチクエスチョン

• RQ1 単語言語Transformerモデルをスクラッチから訓練することは、インドの言語において多言語モデルを用いるよりも優れた性能をもたらすのか？
• RQ2 低リソースなインドの言語環境下で、データセットサイズと下流タスクの性能の相関はどの程度強いのか？
• RQ3 軽量なヘッド（例：LSTM）を備えた事前学習済みTransformerを特徴抽出器として使用することは、全微調整と比較して競争力のある結果をもたらすのか？
• RQ4 トークナイザーの選択（例：Byte-Level BPE）は、特に質疑応答タスクにおいてモデル性能にどのような影響を与えるのか？
• RQ5 複数のデータセット（例：XQuADとMLQA）を統合することで、ヒンディー語向けの質疑応答モデルの訓練および評価にどのような影響を与えるのか？

主な発見

• 著者らは、設定Cにおいて、ヒンディー語およびベンガル語の文書分類タスクで最先端の性能を達成し、既存のベースラインを上回った。
• 質疑応答タスクでは、全多言語データセットで訓練されたTyDiQAゴールドパラグラフベースラインを上回らなかったが、これはクロスリンガル転送の大きな利点を示している。
• 単語言語モデルは多言語モデルと比較して僅かな改善しか示さなかったため、一部のタスクでは多言語モデルが十分である可能性がある。
• リソース制約のため全微調整が困難な状況でも、Transformerを特徴抽出器としてLSTMヘッドと組み合わせることで、競争力のある結果が得られた。
• 特に質疑応答タスクにおいて、トークナイザーの選択、特にRoBERTaにおけるByte-Level BPEの影響は明確に測定可能であった。
• 単語言語コーパスの規模が小さいにもかかわらず、テルグ語モデルは質疑応答タスクで良好な性能を示した。これは、タスク固有のデータサイズが、単語言語コーパスのサイズよりも重要である可能性を示唆している。