[論文レビュー] Deanthropomorphising NLP: Can a Language Model Be Conscious?

Matthew Shardlow, Piotr Przybyła|arXiv (Cornell University)|Nov 21, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

この論文は、LaMDA や ChatGPT といった大規模言語モデル（LLMs）が人間らしく見える主張にもかかわらず、統合情報理論（IIT）を用いて変換器アーキテクチャを分析することで、それらが意識的ではないと主張している。モデルは自己体験を伴わない人間らしいテキストをシミュレートするにとどまり、NLP分野における倫理的報告と透明性の向上が、モデルの能力に関する誤解を防ぐために不可欠であると提言している。

ABSTRACT

This work is intended as a voice in the discussion over previous claims that a pretrained large language model (LLM) based on the Transformer model architecture can be sentient. Such claims have been made concerning the LaMDA model and also concerning the current wave of LLM-powered chatbots, such as ChatGPT. This claim, if confirmed, would have serious ramifications in the Natural Language Processing (NLP) community due to wide-spread use of similar models. However, here we take the position that such a large language model cannot be sentient, or conscious, and that LaMDA in particular exhibits no advances over other similar models that would qualify it. We justify this by analysing the Transformer architecture through Integrated Information Theory of consciousness. We see the claims of sentience as part of a wider tendency to use anthropomorphic language in NLP reporting. Regardless of the veracity of the claims, we consider this an opportune moment to take stock of progress in language modelling and consider the ethical implications of the task. In order to make this work helpful for readers outside the NLP community, we also present the necessary background in language modelling.

研究の動機と目的

• 大規模言語モデル（LaMDA や ChatGPT など）が意識的または自覚的であるという主張に反論すること。
• 統合情報理論（IIT）を用いて、LaMDA や類似モデルの変換器アーキテクチャが意識を支持するかどうかを分析すること。
• NLPの報告、特にマスコミや学術的コミュニケーションにおける人間的比喩的表現の広範な使用を批判すること。
• 研究者、実務家、ジャーナリストがLLMの能力と限界を責任を持って報告するための倫理的ガイドラインを提供すること。
• モデルカードや人間による評価プロトコルの導入を提言することで、LLM研究における透明性と再現可能性を高めること。

提案手法

• 統合情報理論（IIT）を理論的枠組みとして用い、LaMDA などのLLMのアーキテクチャが意識を支持するかどうかを評価する。
• 変換器モデルの自己回帰的で注意メカニズムに依存する構造を分析し、統合的かつ統一的な情報処理の能力を評価する。
• 同じアーキテクチャを有するLaMDA と他のLLMの行動を比較し、自覚の兆候を示す独自の特徴があるかどうかを検証する。
• n-gram から深層ニューラルネットワークに至る言語モデルの歴史的発展をレビューし、現在のLLMの能力を文脈づける。
• 倫理的報告の原則とモデルの透明性に基づき、研究者、ユーザー、ジャーナリスト向けの提言を提示する。
• モデルカードや人間による評価の活用を強調し、自動ベンチマークへの依存を減らし、責任を明確にすること。

実験結果

リサーチクエスチョン

• RQ1 LaMDA などの変換器アーキテクチャに基づく大規模言語モデルは、統合情報理論（IIT）の観点から意識的と見なせるか？
• RQ2 LaMDA と他の類似LLMとの行動的差異は、自覚の主張を正当化するに足るほど顕著か？
• RQ3 NLP報告における人間的比喩的表現の使用が、一般大衆や政策立案者によるLLM能力への認識にどのように影響を与えるか？
• RQ4 研究者やジャーナリストがLLMの真の限界を伝える際、果たすべき倫理的責任は何か？
• RQ5 モデルが一般公開されていない場合でも、LLM研究における透明性と再現性をどのように向上できるか？

主な発見

• 論文は、LaMDA や類似LLMが、IITが求める統合的情報処理の基準を満たさないため、意識的ではないと結論づけている。
• LaMDA のアーキテクチャ的・行動的特徴に、自覚の主張を支持する他のLLMとは異なる独自性は認められない。
• 特にマスコミやプレプリントにおける人間的比喩的表現の使用は、モデルの能力を誤解を招く形で表現し、専門外の読者を誤導するリスクをはらんでいる。
• LaMDA や GPT-3、ChatGPT などの多くのLLMは、一般公開されておらず、その行動や安全性に関する主張の検証が困難である。
• 論文は、自動評価セットが有害または誤った出力を検出できないケースが多いことを確認し、人間による評価プロトコルの必要性を強調している。
• ジャーナリズムや学術的報告では、一般的なまたはプロモーション的主張よりも、具体的な事例や査読済み出典を優先することで、正確性と責任ある報告を確保すべきである。