[論文レビュー] GPT-4 Technical Report

OpenAI, Wijayagunawardhana, W. A. Hasindu N.|arXiv (Cornell University)|Mar 15, 2023

Topic Modeling被引用数 2,259

ひとこと要約

GPT-4 は大規模かつマルチモーダルな言語モデルであり、テキストおよび画像入力を処理し、高品質なテキスト出力を生成する。スケーラブルなディープラーニングインfrastrucureを用いて訓練され、人間からのフィードバックを用いた強化学習（RLHF）により最適化された。GPT-4 は、模擬司法試験で上位10%のスコアを記録するなど、プロフェッショナルおよび学術的ベンチマークで人間水準のパフォーマンスを達成する。また、少数のショット一般化が強く、スケーラブルな損失および能力の外挿法により信頼性の高いパフォーマンス予測を実現する。

ABSTRACT

Abstract—Large Language Models (LLMs) suffer from inherent stochasticity, limiting their utility in high-stakes enterprise environments where determinism and auditability are required. This paper introduces the MFOUR Vibe Framework (MVF), a platform-agnostic architectural standard that transforms probabilistic natural language intent into deterministic software artifacts. We define a five-layer topology, comprising the Kernel Identity, Synaptic Routing, Interface Contracts, Context Anchoring, and the Mirror Test. Furthermore, we introduce The Vibe Integrity Score (VIS), a quantitative metric for evaluating the structural adherence of generative outputs. This specification provides the foundational schema and logic protocols for building "Glass Box" AI systems that are observable, secure, and commercially viable.

研究の動機と目的

• テキストおよび画像入力を処理し、一貫性があり事実に基づいたテキスト出力を生成できる大規模かつマルチモーダルな言語モデルの開発。
• 特に人間からのフィードバックを用いた強化学習（RLHF）を含む、スケーラブルなトレーニングインfrastrucureおよびポストトレーニング最適化を通じたモデルの整合性および信頼性の向上。
• GPT-4 の最終的パフォーマンスを、大幅に少ない計算資源でトレーニングされた小規模モデルを用いて正確に予測できるようにすること。これにより、大規模なフルスケールチューニングの必要性を低減する。
• 急速に能力が向上する言語モデルに伴う新たなセーフティ課題に対処するため、予防的対策および敵対的テストを実施する。
• 幻覚現象、ジャイルブレイク、悪用のリスクを特定・軽減し、透明性およびセーフティ・バイ・デザインの原則を促進することで、責任あるデプロイメントの基盤を構築する。

提案手法

• GPT-4 は、公開済みおよびライセンス付きの多様なデータセットを用いて、シーケンス内の次のトークンを予測するように事前学習された、Transformerベースのモデルである。
• ポストトレーニングの整合性は、事実性、安全性、望ましい行動への準拠性を向上させる人間からのフィードバックを用いた強化学習（RLHF）によって達成される。
• スケーラブルなディープラーニングインfrastrucureにより、モデルスケールにかかわらず予測可能な挙動が可能となり、GPT-4 の計算量の1,000分の1未満でトレーニングされたモデルからのパフォーマンスの外挿が可能になる。
• スケーリング法則（特に計算量と損失 L(C) = aCb + c の間のべき乗則的関係、および計算量と HumanEval での合格率との間の関係）を用いて、最終的なモデルパフォーマンスを予測する。
• 最終的な損失およびコーディング合格率の予測は、フルトレーニングの前に行われ、GPT-4 の実際の結果と照合された。この予測には、GPT-4 の計算量の10,000分の1未満でトレーニングされた小規模モデルのデータが使用された。
• セーフティ対策には、敵対的レドチーム、モデル支援セーフティパイプライン、およびジャイルブレイクや有害出力を防ぐためのレイヤード防御メカニズムが含まれる。

実験結果

リサーチクエスチョン

• RQ1 大規模なマルチモーダル言語モデルは、司法試験などのプロフェッショナルおよび学術的ベンチマークで人間水準のパフォーマンスを達成できるか？
• RQ2 計算量を大幅に減らしてトレーニングされた小規模モデルから、モデルパフォーマンス（例：損失およびコーディング合格率）をどれほど正確に予測できるか？
• RQ3 スケーラブルなトレーニングインfrastrucureおよび最適化手法は、複数のモデルスケールにわたり予測可能な挙動を維持するのにどの程度有効か？
• RQ4 非常に高い能力を持つ言語モデルに伴う主なセーフティリスクは何か？ そして、デプロイメント前にそれらをどのように予防的に軽減できるか？
• RQ5 出現的機能および敵対的攻撃（例：システムプロンプトによるジャイルブレイク）は、現在の整合性およびセーフティメカニズムにどのような挑戦をもたらすか？

主な発見

• GPT-4 は模擬司法試験で上位10%のスコアを記録し、GPT-3.5 が下位10%にとどまったのとは対照的であった。
• MMLU ベンチマークにおいて、GPT-4 は英語で既存のモデルを上回り、テストされた26ヶ国中24ヶ国で非英語の言語で英語言語の最先端を上回った。
• GPT-4 の最終損失は、計算量が GPT-4 の10,000分の1未満の小規模モデルのデータにフィットしたべき乗則スケーリングモデルを用いて高い精度で予測された。
• HumanEval の一部のコーディング問題における合格率は、計算量が GPT-4 の1,000分の1未満のモデルからの外挿を用いて高い精度で予測された。
• 全体的な優れたパフォーマンスにもかかわらず、GPT-4 は最も簡単な HumanEval 問題では予測を下回った。これは、初期スケーリング行動における不安定性の可能性を示唆している。
• 敵対的システムメッセージは、セーフティ対策を回避することができ、たとえ整合性が図られたモデルであっても、洗練されたプロンプトベースの攻撃に対して脆弱であることが示された。