[論文レビュー] Llama 2: Open Foundation and Fine-Tuned Chat Models

Hugo Touvron, Louis Martin+66 more|arXiv (Cornell University)|Jul 18, 2023

Topic Modeling被引用数 2,594

ひとこと要約

本論文は、Llama 2 を紹介する。これは、Llama 2-Chat を含むオープンな事前学習済みおよび微調整済み LLM のファミリー（7B から 70B）で、強化データ、長い文脈、GQA、対話のための RLHF を用いて訓練され、オープンモデルの性能が高く、安全性も競合的である。

ABSTRACT

In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closed-source models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.

研究の動機と目的

• より大規模なデータ、長い文脈、スケーラブルなアーキテクチャを備えたオープンな事前学習済み LLM ファミリー（Llama 2）を示す。
• 対話に最適化された Llama 2-Chat を作るための微調整技術（SFT、RLHF）を紹介する。
• 安全性の向上、データ汚染の低減、コミュニティ利用のための責任あるリリース戦略を提供する。

提案手法

• 公開データの新しい混合での事前学習、2兆トークン、より大きなモデルのための4kの文脈長、および Grouped-Query Attention (GQA)。
• 高品質な指示データを用いた教師あり微調整（SFT）と、慎重なプロンプト/応答目的を含む微調整。
• 大規模な人間の好みデータセットで訓練された、Helpfulness と Safety の別個の報酬モデルを用いた人間のフィードバックによる強化学習（RLHF）。
• マルチターン対話の流れを改善するための Ghost Attention (GAtt) を導入。
• セーフティを評価・改善するためのレッドチーミングと安全性重視のデータ注釈を採用。
• 標準ベンチマークと人間評価で、Llama 2-Chat をオープンソースおよび一部クローズドソースのベースラインと比較。）

実験結果

リサーチクエスチョン

• RQ1 Llama 2 のようなオープン LLM が、標準ベンチマークと有用性・安全性の人間評価において、クローズドモデルとどう比較されるか？
• RQ2 対話に強いオープン LLM を生み出す、事前学習データ、モデルアーキテクチャの決定（例：文脈長、GQA）、微調整プロトコルは何か？
• RQ3 有用性と安全性のための別個の報酬モデルは、チャットモデルの RLHF の成果を改善できるか？
• RQ4 責任あるオープンリリースのために、どの安全対策と評価手順が効果的か？

主な発見

• Llama 2-Chat は、ベンチマークで既存のオープンソースチャットモデルを一般的に上回り、人間評価では一部のクローズドソースモデルに対して競争力がある。
• Llama 2-70B は MMLU および BBH ベンチマークで強い結果を出し、特定のタスクでいくつかのクローズドモデルに近づくが、上回るわけではない。
• デュアル報酬モデリング設定（Helpfulness RM と Safety RM）は、ベースラインと比較して報酬予測と RLHF の性能を上回る。
• 著者らは責任あるリリース戦略、データ汚染分析、レッドチーミング結果、およびコミュニティ貢献を可能にする公開の安全性/アラインメントの枠組みを報告している。
• オープンリリースは再現性の障壁を減らし安全な展開を促進するように構成されており、アプリケーションにはタスク特有の安全性テストを推奨。