[論文レビュー] Encoder vs Decoder: Comparative Analysis of Encoder and Decoder Language Models on Multilingual NLU Tasks

Dan Saattrup Nielsen, Kenneth Enevoldsen+1 more|arXiv (Cornell University)|Jun 19, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿は、8つのゲルマン諸語をカバーする多言語 NLU タスクにおいて、デコーダー言語モデルの性能を評価するように ScandEval ベンチマークを拡張した。デコーダー モデルは NLU タスク、特に質問応答タスクにおいてエンコーダー モデルを顕著に上回ることが示された。性能は言語やタスクタイプによっても異なる。UMAP 分析により、エンコーダー モデルとデコーダー モデルの間で明確な学習軌跡の違いが明らかになった。

ABSTRACT

This paper explores the performance of encoder and decoder language models on multilingual Natural Language Understanding (NLU) tasks, with a broad focus on Germanic languages. Building upon the ScandEval benchmark, initially restricted to evaluating encoder models, we extend the evaluation framework to include decoder models. We introduce a method for evaluating decoder models on NLU tasks and apply it to the languages Danish, Swedish, Norwegian, Icelandic, Faroese, German, Dutch, and English. Through a series of experiments and analyses, we also address research questions regarding the comparative performance of encoder and decoder models, the impact of NLU task types, and the variation across language resources. Our findings reveal that encoder models can achieve significantly better NLU performance than decoder models despite having orders of magnitude fewer parameters. Additionally, we investigate the correlation between decoders and task performance via a UMAP analysis, shedding light on the unique capabilities of decoder and encoder models. This study contributes to a deeper understanding of language model paradigms in NLU tasks and provides valuable insights for model selection and evaluation in multilingual settings.

研究の動機と目的

• 英語以外の言語にまで拡張した多言語 NLU 環境におけるエンコーダー モデルとデコーダー モデルの系統的比較が不足しているという問題に取り組むこと。
• ScandEval ベンチマークを拡張し、デコーダー モデルの few-shot 評価を可能とし、ドイツ語、オランダ語、英語を含む言語カバレッジを拡大すること。
• 多様なタスクと言語において、SOTA の微調整済みエンコーダー モデルに比べ、デコーダー モデルが優れた NLU 性能を達成するかどうかを調査すること。
• モデルタイプ（エンコーダー対デコーダー）と NLU タスクタイプ、言語リソースのレベルに応じた性能変動との相関関係を分析すること。

提案手法

• デコーダー モデルの few-shot 評価を可能とするように、ScandEval ベンチマーキング フレームワークを拡張し、エンコーダー モデルとの一貫性ある比較を可能にした。
• 指示チューニング済みおよびゼロショット形式のプロンプトを用いて、デコーダー モデルを NLU タスクに適応させ、標準的な NLU 評価プロトコルとの互換性を確保した。
• UMAP 次元削減を適用し、リーダーボード全体におけるエンコーダー モデルとデコーダー モデルの性能分布を視覚化・比較した。
• 8つのゲルマン諸語におけるモデルスコアを収集・公開し、モデルサイズ、推論速度、重みの入手可能性などのメタデータを含めた。
• BERT ベースのエンコーダー、RoBERTa、XLM-RoBERTa、および Llama-3、GPT-4、GPT-3.5-turbo などのデコーダー モデルを広く評価した。
• 性能差の評価に主に平均ランクスコアを用い、タスクタイプとモデルの生成能力に応じて層別化することで、性能差を分析した。

Figure 1: UMAP plots of the models on the ScandEval leaderboards.

実験結果

リサーチクエスチョン

• RQ1 最先端のデコーダー モデルは、最先端の微調整済みエンコーダー モデルよりも顕著に優れた NLU 性能を達成できるか？
• RQ2 デコーダー モデルの性能優位性は、NLU タスクの種別に依存するか？
• RQ3 エンコーダー モデルとデコーダー モデルの性能差は、低リソース言語から高リソース言語にかけての言語リソーススケールにおいて変化するか？

主な発見

• デコーダー モデルは多言語 NLU タスクにおいてエンコーダー モデルを顕著に上回り、最良のデコーダー モデルではデンマーク語で平均ランクスコア 1.40、英語で 1.46 を達成した。一方、エンコーダー モデルはそれぞれ 1.33 と 1.34 であった。
• デコーダー モデルの性能優位性は、質問応答タスクで最も顕著であり、指示チューニングがなくても生成モデルが高い性能を示す強い相関関係が見られた。
• 名前付きエンティティ抽出や文法的妥当性タスクではデコーダー モデルの性能が低く、その能力にタスク固有のバイアスがあることが示された。
• UMAP 分析により、エンコーダー モデルとデコーダー モデルの間で明確な性能軌跡の違いが明らかになり、訓練中に異なる表現を学習していることが示唆された。
• エンコーダー モデルとデコーダー モデルの性能格差は言語によって異なり、フェローイズ語やアイスランド語のような低リソース言語でより強い優位性が観察された。
• 本研究では、デコーダー モデルが質問応答タスクに強くバイアスされていることが確認された。指示チューニングが行われていなくても、強力な性能を示すことが、アーキテクチャ的要因や事前学習要因によるものと考えられる。

Figure 2: The correlation between a model being generative and its performance on the four NLU tasks.