[論文レビュー] idT5: Indonesian Version of Multilingual T5 Transformer

Mukhlish Fuadi, Adhi Dharma Wibawa+1 more|arXiv (Cornell University)|Feb 2, 2023

Edcuational Technology Systems被引用数 5

ひとこと要約

この論文では、多言語モデルmT5アーキテクチャを基盤として、インドネシア語に特化して微調整されたより小型の単言語T5モデル、idT5を紹介する。mT5モデルを言語特化型に蒸留することで、idT5は感情分析タスクで77.18%の精度を達成し、mT5より8%高い性能を発揮した一方、モデルサイズを最大58%まで削減し、推論速度を向上させ、メモリ使用量を低減した。

ABSTRACT

Indonesian language is spoken by almost 200 million people and is the 10th most spoken language in the world, but it is under-represented in NLP (Natural Language Processing) research. A sparsity of language resources has hampered previous work on Indonesian. The Transformer is a new architecture rapidly becoming dominant for NLP, surpassing alternatives like convolutional and recurrent neural networks. T5 (Text-to-Text Transfer Transformer) is a Transformer model that converts all text-based language problems to text-to-text format for English. The multilingual variant is mT5 (multilingual T5) which has shown promising results on many NLP tasks across languages. However, the size of this multilingual model is a drawback for its application in real production applications, which sometimes require only one language. In this study, the mT5 model was adapted for only one language, Indonesian, resulting in a pre-trained T5 model that was specific only for Indonesian with a smaller size. For performance comparison, we fine-tuned this model and the mT5 model to the Sentiment Analysis (SA), Question Generation (QG), and Question Answering (QA) tasks with the exact mechanism and dataset. Fine-tuned model based on our model achieved 77.18% accuracy on SA, 8% higher than the mT5-based model, and obtained nearly the same score as the mT5-based model on QG and QA. The results confirm that it is possible to produce a smaller pre-trained model that maintains comparable yields while reducing the model size by up to 58%. In addition, the resulting model requires less memory, loads faster, and inference times faster.

研究の動機と目的

• 自然言語処理研究におけるインドネシア語の不足を理由に、言語リソースが限られていることによる課題を解決すること。
• 多言語モデルの計算コストを削減するために、インドネシア語に特化した単言語バージョンを構築すること。
• 専用のT5モデルを微調整することで、インドネシア語の自然言語処理タスクにおける性能を向上させること。
• より小型で言語特化型のモデルが、下流タスクにおいて大規模な多言語モデルを上回るか、同等の性能を発揮できるかどうかを評価すること。
• 多言語モデルを言語特化型に微調整することで、性能を損なわず、推論速度を向上させ、メモリ使用量を低減できることを実証すること。

提案手法

• 大規模なインドネシア語テキストコーパスを用いてmT5モデルを微調整し、単言語T5バージョンを構築すること。
• 言語の文法構造と意味論に最適化するために、モデルをインドネシア語テキストに限定して訓練すること。
• 多言語能力を削除することでモデルサイズを縮小し、より効率的なアーキテクチャを実現すること。
• 感情分析、質問生成、質問応答の3つのタスクにおいて、idT5とmT5の公平な比較のため、同じ微調整手順とデータセットを適用すること。
• 標準的な自然言語処理ベンチマーク（感情分析、質問生成、質問応答）を用いること。
• 推論速度、メモリ使用量、精度を評価し、効率性と性能を比較すること。

実験結果

リサーチクエスチョン

• RQ1 インドネシア語に特化して訓練された単言語T5モデルが、インドネシア語の自然言語処理タスクにおいて多言語モデルmT5を上回ることができるか？
• RQ2 インドネシア語の自然言語処理タスクにおいて、性能の著しい低下を伴わずに、モデルサイズをどの程度まで縮小できるか？
• RQ3 言語特化型モデルの推論速度とメモリ使用量は、多言語ベースラインと比べてどの程度異なるか？
• RQ4 mT5をインドネシア語に特化した単言語モデルに微調整することで、感情分析タスクにおける性能が多言語バージョンを上回るか？
• RQ5 より小型で特化型のモデルが、インドネシア語の質問生成および質問応答タスクにおいてmT5と同等の結果を達成できるか？

主な発見

• idT5は感情分析タスクで77.18%の精度を達成し、mT5ベースのモデルより8ポイント高い。
• 質問生成および質問応答タスクにおいて、idT5はmT5とほぼ同等の性能を維持した。
• idT5は元のmT5アーキテクチャと比較して、最大58%のモデルサイズ削減を達成した。
• 小型化されたサイズのおかげで、メモリ使用量が少なく、ロード速度も速くなった。
• idT5の推論時間はmT5よりも速く、効率性の向上が確認された。
• 結果から、多言語モデルを言語特化型に微調整することで、インドネシア語のような低リソース言語において、より高い性能と高い効率性を実現できることを確認した。