[論文レビュー] Camoscio: an Italian Instruction-tuned LLaMA

Andrea Santilli, Emanuele Rodolà|arXiv (Cornell University)|Jul 31, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

Camoscioは、GPT-3.5を用いて翻訳された52,000組の英語の指示ペアを用いたデータセット上でLoRAを用いて微調整された7Bパラメータの指令微調整型LLaMAモデルです。イタリア語向けに最適化されており、イタリア語NLPタスクにおいて優れたゼロショット性能を達成しており、NewsSum-IT、SQuAD-IT、XFORMAL-ITなどのベンチマークで特化型モデルを上回っており、すべてのアーティファクトがCC BY 4.0ライセンスのもとで公開されており、イタリア語NLP研究を支援しています。

ABSTRACT

In recent years Large Language Models (LLMs) have increased the state of the art on several natural language processing tasks. However, their accessibility is often limited to paid API services, posing challenges for researchers in conducting extensive investigations. On the other hand, while some open-source models have been proposed by the community, they are typically English-centric or multilingual without a specific adaptation for the Italian language. In an effort to democratize the available and open resources for the Italian language, in this paper we introduce Camoscio: a language model specifically tuned to follow users' prompts in Italian. Specifically, we finetuned the smallest variant of LLaMA (7b) with LoRA on a corpus of instruction prompts translated to Italian via ChatGPT. Results indicate that the model's zero-shot performance on various downstream tasks in Italian competes favorably with existing models specifically finetuned for those tasks. All the artifacts (code, dataset, model) are released to the community at the following url: https://github.com/teelinsan/camoscio

研究の動機と目的

• イタリア語固有のオープンで高品質な指令微調整型LLMの不足に対処し、イタリア語専用のモデルを構築すること。
• イタリア語向けに調整された指令データを用いてLLaMAを微調整することで、イタリア語の下流NLPタスクにおけるゼロショット性能を向上させること。
• CC BY 4.0ライセンスのもとでモデル、データセット、コードを公開することで、イタリア語NLPにおける強力な言語モデルへのアクセスを民主化すること。
• 翻訳された英語指令データを用いた指令微調整が、リソースが限られる言語（例：イタリア語）においても競争力のある性能を発揮できることを示すこと。
• APIアクセスが制限されるプライバシーに配慮した分野においても利用可能な、コミュニティリソースを提供し、イタリア語NLP分野の研究を支援すること。

提案手法

• パラメータ効率の良い微調整手法であるLoRAを用いて、最小のLLaMAバージョン（7Bパラメータ）を微調整し、指令に従う能力を向上させた。
• スタンフォードAlpacaデータセットに含まれる52,000組の英語指令-出力ペアをGPT-3.5を用いてイタリア語に翻訳することで、新しいイタリア語指令微調整データセットを構築した。
• 翻訳済みデータセットを用いてLLaMAモデルの指令微調整を実施し、自然言語のプロンプトをイタリア語で処理できるようにした。
• 追加の微調整を施さずに、複数のイタリア語ベンチマークでモデルのゼロショット性能を評価した。
• GitHubを通じて、すべてのモデル重み、トレーニングコード、および完全な指令データセットをCC BY 4.0ライセンスのもとで一般公開した。
• 指令微調整型LLMの優れたゼロショット一般化性能を活用することで、多様なイタリア語NLPタスクで競争力のある性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 翻訳された英語指令データを用いて微調整されたLLaMAモデルは、イタリア語NLPタスクにおいて優れたゼロショット性能を発揮できるか？
• RQ2 イタリア語向けに微調整されたLLaMAモデルは、既存の特化型または多言語モデルと比較して、下流タスクの性能で優れているか？
• RQ3 パラメータ効率の良い微調整（LoRA）を用いることで、標準的なデスクトップハードウェア上でも高性能なイタリア語LLMをトレーニングできるか、その範囲はどの程度か？
• RQ4 GPT-3.5を用いて英語指令データを翻訳することで、高品質で実用的なイタリア語指令データセットが得られるか？
• RQ5 高性能なイタリア語指令微調整型LLMをオープンソース化することで、APIアクセスが制限されるプライバシーに配慮した分野における研究を支援できるか？

主な発見

• CamoscioはNewsSum-ITベンチマークで競争力あるゼロショット性能を示し、要約タスクに特化して微調整されたモデルを上回った。
• SQuAD-IT質問応答ベンチマークでは、Camoscioが高精度な事実的正確性を持つ回答を生成し、特化型モデルと同等またはそれ以上の性能を示した。
• XFORMAL-ITテキストスタイル変換タスクでは、Camoscioが公式表現と非公式表現の間で自然に変換を実行でき、強力な言語的制御能力を示した。
• 評価されたすべてのベンチマークで、より小さな言語固有のデータセットで微調整されたにもかかわらず、BLOOM や LLaMA といった既存の多言語モデルと同等またはそれ以上の性能を発揮した。
• LoRAの使用により、コンsumerクラスのハードウェア上でも7Bパラメータのモデルの効果的な微調整が可能となり、スケーラビリティと効率性が実証された。
• すべてのモデル重み、トレーニングコード、および完全なイタリア語指令データセットが一般公開されており、再現性とコミュニティ主導の発展を促進している。