[論文レビュー] GPT-4o System Card

OpenAI, :+418 more|arXiv (Cornell University)|Oct 25, 2024

Cardiovascular Function and Risk Factors被引用数 100

ひとこと要約

tldr: OpenAI は GPT-4o System Card を提示し、マルチモーダル GPT-4o モデル、その能力、安全性評価、リスク緩和、および第三者評価の詳細を説明します。

ABSTRACT

GPT-4o is an autoregressive omni model that accepts as input any combination of text, audio, image, and video, and generates any combination of text, audio, and image outputs. It's trained end-to-end across text, vision, and audio, meaning all inputs and outputs are processed by the same neural network. GPT-4o can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time in conversation. It matches GPT-4 Turbo performance on text in English and code, with significant improvement on text in non-English languages, while also being much faster and 50\% cheaper in the API. GPT-4o is especially better at vision and audio understanding compared to existing models. In line with our commitment to building AI safely and consistent with our voluntary commitments to the White House, we are sharing the GPT-4o System Card, which includes our Preparedness Framework evaluations. In this System Card, we provide a detailed look at GPT-4o's capabilities, limitations, and safety evaluations across multiple categories, focusing on speech-to-speech while also evaluating text and image capabilities, and measures we've implemented to ensure the model is safe and aligned. We also include third-party assessments on dangerous capabilities, as well as discussion of potential societal impacts of GPT-4o's text and vision capabilities.

研究の動機と目的

• GPT-4o のテキスト、ビジョン、オーディオのモダリティ全体にわたる能力を提示し、性能とコストの点で GPT-4 Turbo と比較する。
• リスクを緩和するために使用されるデータソース、事前学習、データフィルタリング/マスキング戦略を説明する。
• 複数のリスクカテゴリにわたる Preparedness Framework の評価と安全対策の概要を示す。
• 外部レッドチーミングのプロセス、方法論、評価の制約の詳細を示す。
• GPT-4o に関する第三者評価と社会的影響の考慮事項を要約する。

提案手法

• GPT-4o をテキスト、画像、音声、動画入力を処理し、テキスト、音声、または画像を出力する自己回帰型のオムニモデルとして説明する。
• ウェブデータ、コード/数式、マルチモーダルデータを含むデータソースと学習コンポーネントを説明する。
• トレーニング後の整合性、レッドチーム、製品レベルの緩和策を安全対策として概説する。
• レッドチームデータを用いた評価手法と、TTS を用いたテキストベースのタスクの音声タスクへの変換について論じる。
• Preparedness Framework の評価と、高リスクカテゴリが展開決定にどのように影響するかを提示する。
• 第三者評価（METR および Apollo Research）とそれらの含意を要約する。

実験結果

リサーチクエスチョン

• RQ1 GPT-4o のテキスト、ビジョン、オーディオのモダリティにおける能力は何ですか？
• RQ2 音声から音声へのユースケースにおける安全緩和とモデレーションツールはどの程度効果的ですか？
• RQ3 多様な声とアクセントにおいて、能力と安全挙動の両面で GPT-4o はどのようにパフォーマンスしますか？
• RQ4 自律性関連のリスクに関連して、外部レッドチーミングと第三者評価の結果はどうでしたか？

主な発見

• GPT-4o は英語のテキストとコードで GPT-4 Turbo と同等で、API ではより高速で50%安価であり、非英語のテキストでは顕著な改善が見られる
• 外部レッドチーミングは45の言語を29か国にわたってカバーし、複数の安全評価と緩和策に情報を提供した
• 音声モードの緩和策は、無許可の音声生成と話者識別の拒否の高い精度を示す（例：話者識別における should refuse が 98% 以上）
• 多様な声にまたがるパフォーマンスの差はごくわずかで、評価における安全挙動はほぼ声に依存しない。
• Preparedness Framework は、サイバーセキュリティ、CBRN、説得、モデル自律性を評価した後、GPT-4o の総合リスクを中程度と分類する
• 第三者評価（METR および Apollo） は追加の検証を提供するが、自律性関連の能力が限定されている領域も強調している

Figure 1 : Quantum physics experiment red teamer example