[論文レビュー] Amplifying Limitations, Harms and Risks of Large Language Models

Michael O’Neill, Mark Connor|arXiv (Cornell University)|Jul 6, 2023

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

この論文は、大規模言語モデル（LLMs）に内在する制限、害、リスクを厳密に検討し、過剰な期待が、幻覚、バイアス、事実に基づかない出力といった根本的な欠陥を隠していると主張する。著者らは、人間の監視と多様な開発チームによる対策を提言し、人間による検証がなければ、LLMsが正しさや安全性を保証できないことを強調している。

ABSTRACT

We present this article as a small gesture in an attempt to counter what appears to be exponentially growing hype around Artificial Intelligence (AI) and its capabilities, and the distraction provided by the associated talk of science-fiction scenarios that might arise if AI should become sentient and super-intelligent. It may also help those outside of the field to become more informed about some of the limitations of AI technology. In the current context of popular discourse AI defaults to mean foundation and large language models (LLMs) such as those used to create ChatGPT. This in itself is a misrepresentation of the diversity, depth and volume of research, researchers, and technology that truly represents the field of AI. AI being a field of research that has existed in software artefacts since at least the 1950's. We set out to highlight a number of limitations of LLMs, and in so doing highlight that harms have already arisen and will continue to arise due to these limitations. Along the way we also highlight some of the associated risks for individuals and organisations in using this technology.

研究の動機と目的

• 大規模言語モデル（LLMs）に関する高まり続ける過剰な期待に対抗するため、その根本的な制限とリスクを暴露すること。
• LLMsが引き起こす既存および潜在的な害、例えば誤情報、バイアス、不適切な出力について強調すること。
• 現在のLLMsが人間によるレビューなしには事実の正確性や安全性を保証できないことの強調。
• モデルの公平性を向上させ、システム的バイアスを低減するために、多様な開発チームの構成を提言すること。
• LLMsの制限を認識し、AI生成コンテンツへの無批判的信頼を避けることで、責任ある採用を促進すること。

提案手法

• LLMsの能力と制限を評価するために、公的レポート、技術文書（例：GPT-4 Technical Report）、マスコミ報道を分析すること。
• GPT-4などのモデルにおける性能向上の背後にあるアーキテクチャ的要因とトレーニング要因を検討すること。これには、スケーリング（パラメータ数、コンテキスト長）、トレーニングデータ量、Mixture-of-Experts設計が含まれる。
• 主なAIプロバイダー（例：OpenAI）の既存の利用ポリシーをレビューし、法的、財務的、医療分野の助言など、禁止された使用事例を特定すること。
• ルールベースのガードレールと人間フィードバックを用いた強化学習（RLHF）が、リスク軽減の部分的対策として果たす役割を強調すること。
• AI分野の歴史的・多様な学際的視点を活用し、LLMsを広範なAI研究の伝統の中での文脈に位置づけること。
• LLMs自身の自己認識を示すために、自己クエリ（例：ChatGPTに「あなたはどのような用途に使われてはいけませんか？」と尋ねる）を用いることで、モデルが自らの制限を認識していることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 現在の大規模言語モデルの核心的な制限は何か？ それが信頼性と安全性を損なう要因となるか？
• RQ2 モデルサイズ、コンテキスト長、データ量といったアーキテクチャ的およびトレーニング要因が、LLMsのパフォーマンスとリスクにどのように影響を与えるか？
• RQ3 開発チームの多様性の欠如が、LLMsの出力におけるバイアスとシステム的害悪をどのように助長するか？
• RQ4 ルールベースのシステムや人間フィードバックは、幻覚や有害なコンテンツのリスクをどの程度軽減できるか？
• RQ5 LLMsが生成するコンテンツ（誤情報を含む）が将来のトレーニングデータを汚染し、誤情報とバイアスのフィードバックループを生み出す長期的リスクは何か？

主な発見

• GPT-4のような大規模言語モデルは、一見整合性があり流暢な文章を生成しても、顕著な幻覚や事実の不正確さを示す。
• 高度な能力を謳う一方で、GPT-4の出力は、法的、財務的、医療分野の助言といった高リスクな用途では、人間によるレビューなしには信頼できない。
• モデルのパフォーマンス向上は、スケーリングに起因する。具体的には、最大1兆個のパラメータ、または8つの2200億パラメータのモデルの混合構造、さらに大きなコンテキスト窓、膨大なトレーニングデータ量が関与している。
• GPT-4のトレーニングに費やされた費用は1億ドル以上にのぼり、現在のLLMsが伴う莫大な財政的・計算的投資を示している。
• LLMsは本質的に安全や中立的でない。出力はトレーニングデータに含まれるバイアスと、開発チームの多様性の欠如に起因する。
• LLMが生成するコンテンツ（誤情報を含む）が、将来のトレーニングデータの質をさらに悪化させ、誤情報とバイアスのフィードバックループを生み出すリスクがある。