[論文レビュー] Sabiá-2: A New Generation of Portuguese Large Language Models

Thales Sales Almeida, Hugo Abonizio+2 more|arXiv (Cornell University)|Mar 14, 2024

Language, Linguistics, Cultural Analysis被引用数 4

ひとこと要約

Sabiá-2 は、Sabiá-2 Medium が 64 件の試験のうち 58 件で GPT-3.5 を上回り、64 件のうち 23 件で GPT-4 と同等またはそれを上回るという、新しい世代のスペシャライズド・ポルトガル語大規模言語モデルです。1 トークンあたりのコストは 1/10 に抑えられており、モデルサイズを増大させることなくドメイン特化によって高い性能を達成しています。ブラジルの学術的・職業的試験および文化的に根ざした会話において優れた結果を示しています。

ABSTRACT

We introduce Sabiá-2, a family of large language models trained on Portuguese texts. The models are evaluated on a diverse range of exams, including entry-level tests for Brazilian universities, professional certification exams, and graduate-level exams for various disciplines such as accounting, economics, engineering, law and medicine. Our results reveal that our best model so far, Sabiá-2 Medium, matches or surpasses GPT-4's performance in 23 out of 64 exams and outperforms GPT-3.5 in 58 out of 64 exams. Notably, specialization has a significant impact on a model's performance without the need to increase its size, allowing us to offer Sabiá-2 Medium at a price per token that is 10 times cheaper than GPT-4. Finally, we identified that math and coding are key abilities that need improvement.

研究の動機と目的

• ブラジルの学術的・職業的ドメインに特化した新しい世代のポルトガル語大規模言語モデルの開発。
• 微調整を一切行わない状態で、多様で高利害なブラジルの試験においてモデルの性能を評価し、事前学習済みの能力に依存する。
• モデルサイズを増大させずに特化を活用することで性能向上とコスト削減を実現することの証明。
• ブラジルの文脈に根ざした文化的な会話において、複数ターンの会話処理がどの程度可能かを評価すること。
• 特に数学およびプログラミング分野における主な限界を特定し、今後の改善のための方向性を示すこと。

提案手法

• アーキテクチャやトレーニング手法の公表を一切行わず、ポルトガル語のテキストに特化してトレーニングされた大規模言語モデル（Sabiá-2）の開発。
• ENEM、BLUEX、ENADE、POSCOMP など、ブラジルの学術的・職業的試験の選択肢式問題のサブセットを用いてモデルの評価。
• BRACEvalベンチマーク上で、会話の質を二重比較評価する際、位置バイアスを軽減するため、プロンプトの順序を逆転させて GPT-4 をジャッジとして使用。
• 法務、医学、工学、経済学、教育など、さまざまなドメインにおける正確性を測定するため、分野別にモデルの性能を評価。
• モデルサイズを増大させずにドメイン特化を活用することで性能を向上させ、コスト効率を向上。
• 標準化され、専門家が作成した試験を用いることで、公平性と関連性を確保し、非専門家による評価によるバイアスを最小限に抑える。

Figure 1: Results of Sabiá-2, GPT-3.5 Turbo and GPT-4 Turbo on Enade 2022 and 2023 exams, ordered from low to high based on Sabiá-2 performance. Sabiá-2 outperforms GPT-3.5 Turbo on most exams, except Control and Automation Engineering, and Medicine. The lowest accuracies were achieved in domains re

実験結果

リサーチクエスチョン

• RQ1 微調整を一切行わない状態で、GPT-3.5 や GPT-4 といった汎用モデルに比べ、スペシャライズド・ポルトガル語 LLM がブラジルの学術的・職業的試験で優れた性能を発揮できるか？
• RQ2 モデルサイズや推論コストを増大させずに、ドメイン特化が性能向上にどの程度寄与するか？
• RQ3 Sabiá-2 は、先進的な特許取得済みモデルと比較して、文化的に根ざした複数ターンの会話処理においてどの程度の性能を示すか？
• RQ4 モデルの主な限界、特に数学およびプログラミング分野における課題は何か。また、最先端モデルと比較してどう異なるか？
• RQ5 GPT-4 のような AI ジャッジは、オープンエンドで文化的にニュアンスのあるタスクにおいて、信頼性があり一貫性のある評価を提供できるか？

主な発見

• Sabiá-2 Medium は 64 件の試験のうち 58 件で GPT-3.5 Turbo を上回り、多様なドメインにわたる優れた一般化性能を示している。
• Sabiá-2 Medium は 64 件の試験のうち 23 件で GPT-4 と同等またはそれを上回り、特に法務、医学、教育分野で顕著な性能を発揮している。
• ベンチマーク全般において、Sabiá-2 Medium は GPT-3.5 Turbo や Gemini 1.0 Pro と比較して 96.9% の性能パラメータを達成、またはそれを上回っている。
• Sabiá-2 Medium は、1 トークンあたりのコストが 8 分の 1 に抑えられるにもかかわらず、Mistral Large よりも 76.6% の試験で優れている。
• BRACEval における複数ターン会話評価では、有害なコンテンツへの対応で 100% の勝利を記録したが、Claude 3 Sonnet や GPT-3.5 Turbo と比較して、コーディングの質ではたった 15% の勝利にとどまっている。
• 数学およびプログラミング分野において、顕著な課題が確認され、今後の改善の重要な分野であることが示された。

Figure 2: Performance of Sabiá-2 and other proprietary LLMs on benchmarks of university admission exams: ENEM and BLUEX. The benchmark includes 3 exams.