[論文レビュー] a survey on GPT-3

Mingyu Zong, Bhaskar Krishnamachari|arXiv (Cornell University)|Dec 1, 2022

Data Stream Mining Techniques被引用数 17

ひとこと要約

このサーベイは、1750億パラメータの言語モデルとしてのGPT-3のアーキテクチャ、トレーニングデータ、および能力について包括的な概要を提供する。チャットボット、コーディング、ビジネスツールなど多様な分野への応用を検討しつつ、幻覚、バイアス、高エネルギー消費といった主な課題を強調し、より良い監査システムとより持続可能なモデル設計の必要性を訴えている。

ABSTRACT

This paper provides an introductory survey to GPT-3. We cover some of the historical development behind this technology, some of the key features of GPT-3, and discuss the machine learning model and the datasets used. We survey both academic and commercial efforts applying GPT-3 in diverse domains such as developing conversational AI chatbots, software development, creative work, domain knowledge, and business productivity. We discuss some of the challenges that GPT-3 faces such as the problems of training complexity, bias, and hallucination/incorrect answers. We also discuss the future research opportunities in this area.

研究の動機と目的

• GPT-3の開発、アーキテクチャ、および能力について包括的な紹介を行うこと。
• 自然言語処理タスク、ソフトウェア開発、クリエイティブ作業を含む多様な応用におけるそのパフォーマンスを分析すること。
• 幻覚、バイアス、環境的影響といった重要な課題を特定し、それらを議論すること。
• GPT-3の誤用の影響と、規制および監査フレームワークの必要性を検討すること。
• 大規模言語モデルにおける安全性、公平性、持続可能性を向上させるための今後の研究方向性を提示すること。

提案手法

• GPT-1およびGPT-2からのGPT-3の進化をサーベイし、アーキテクチャの進化とパラメータ数の増加に焦点を当てる。
• トレーニングデータとして、Common Crawl、WebText2、Books2、Wikipediaを含む分析を行い、合計で約5000億トークンに達する。
• OpenAIのプレイグラウンドおよびAPIを用いた推論モード（コンプリート、インサート、エディット）の分析と、温度や最大長といったパラメータチューニングの検討。
• 自然言語処理ベンチマークおよび実世界の応用におけるGPT-3のパフォーマンスを評価し、ゼロショットおよびフェイシングプロンプティングの両方を含む。
• APIアクセスを通じたファインチューニングの能力を調査し、有効な適応にあたり1000件のインスタンスが合理的な最小値であると指摘する。
• ジェンダー、人種、宗教に関するバイアスに関する実証的研究を用いた倫理的懸念のレビューと、トレーニングおよび推論におけるエネルギー消費の分析。

実験結果

リサーチクエスチョン

• RQ1 GPT-3のアーキテクチャおよびトレーニングデータは、ゼロショットおよびフェイシングNLPタスクにおけるそのパフォーマンスにどのように寄与しているか？
• RQ2 幻覚、バイアス、エネルギー消費という観点から、GPT-3の主な制限は何か？
• RQ3 ジェンダー、人種、宗教といったデモグラフィックバイアスは、GPT-3の出力にどのように現れるか？
• RQ4 GPT-3は下流タスクに対してどの程度効果的にファインチューニング可能であり、必要なデータ要件は何か？
• RQ5 GPT-3の公開が誤用、改ざん、規制監視の必要性に及ぼす影響は何か？

主な発見

• GPT-3は1750億パラメータと5000億トークンのトレーニングデータを活用し、テキスト補完や要約といった複数のNLPタスクで最先端のパフォーマンスを達成した。
• モデルはゼロショット能力が強く、ファインチューニングなしで8つの言語モデリングタスクのうち7つで、タスク固有のモデルを上回った。
• GPT-3は顕著なジェンダーバイアスを示しており、女性キャラクターに対して家族や感情に関連するステレオタイプな物語を生成する傾向がある一方、男性キャラクターは戦争、犯罪、政治に関連づけられる傾向がある。
• 人種バイアスが検出され、医療Q&Aタスクにおいて黒人患者に対して痛みの治療を拒否する可能性が白人患者よりも3.6%高いことが判明した。
• 宗教バイアスが認められ、生成出力において「ムスリム」という語が暴力的または否定的な関連を引き起こしやすい傾向がある。
• GPT-3のトレーニングおよび推論プロセスは極めてエネルギー集約的であり、環境的懸念を引き起こし、より効率的なモデルアーキテクチャの必要性が叫ばれている。