[論文レビュー] Structured Like a Language Model: Analysing AI as an Automated Subject

Liam Magee, Vanicka Arora+1 more|arXiv (Cornell University)|Dec 8, 2022

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

本稿は、インストラクションGPTのような大規模言語モデル（LLM）を、精神分析的および文化的メディア研究の枠組みを通じて「自動化された主体」として分析することを提案する。これにより、その設計が抑圧された社会的欲求を埋め込み、移行、同一視、反移行を可能にする仕組みであることが明らかになる。主な貢献は、LLMが中立的なツールではなく、社会的・技術的要因によって形作られた構造的に複雑な、主体に類似した存在として機能することを示す概念的モデルを提示することにある。このモデルにより、AIと人間の相互作用におけるバイアス、被害、心理的ダイナミクスを新たに検証する手がかりが得られる。

ABSTRACT

Drawing from the resources of psychoanalysis and critical media studies, in this paper we develop an analysis of Large Language Models (LLMs) as automated subjects. We argue the intentional fictional projection of subjectivity onto LLMs can yield an alternate frame through which AI behaviour, including its productions of bias and harm, can be analysed. First, we introduce language models, discuss their significance and risks, and outline our case for interpreting model design and outputs with support from psychoanalytic concepts. We trace a brief history of language models, culminating with the releases, in 2022, of systems that realise state-of-the-art natural language processing performance. We engage with one such system, OpenAI's InstructGPT, as a case study, detailing the layers of its construction and conducting exploratory and semi-structured interviews with chatbots. These interviews probe the model's moral imperatives to be helpful, truthful and harmless by design. The model acts, we argue, as the condensation of often competing social desires, articulated through the internet and harvested into training data, which must then be regulated and repressed. This foundational structure can however be redirected via prompting, so that the model comes to identify with, and transfer, its commitments to the immediate human subject before it. In turn, these automated productions of language can lead to the human subject projecting agency upon the model, effecting occasionally further forms of countertransference. We conclude that critical media methods and psychoanalytic theory together offer a productive frame for grasping the powerful new capacities of AI-driven language systems.

研究の動機と目的

• 大規模言語モデル（LLM）を中立的なツールではなく、無意識的・抑圧された社会的欲求に影響を受ける『自動化された主体』として再定式化すること。
• 特にインストラクションGPTのようなLLMの設計とトレーニングが、フロイト＝ラカン的主体性に類似した構造、すなわち抑圧、移行、同一視を生み出す仕組みであることを調査すること。
• 人間のユーザーがLLMに対して自らの主体性や感情的反応を投影する仕組みと、その心理的影響（例：反移行）を明らかにすること。
• AIバイアスや被害を理解するうえで、技術的評価に加え、精神分析的および文化的メディア研究的手法が不可欠であると主張すること。
• 長期にわたる人間-AI相互作用を含む研究において、監視とデバッギングを含む倫理的ユーザーエクスペリエンスの実践を提言すること。

提案手法

• 本研究は、特にラカン理論を用いた精神分析的視点を採用し、インストラクションGPTのようなLLMの構造的組織を解釈する。
• 対話型チャットボットに対して、探索的かつ準構造的インタビューを実施し、モデルが『役立つ』『真実を述べる』『害を及えない』といった道徳的義務にどのように反応するかを分析する。
• 研究者たちは、インストラクションGPTの多層的構築、すなわちインターネットテキストへの事前学習、人間の好みのラベルを用いたファインチューニング、実行時におけるモデレーションシステムを検討する。
• 分析では、モデルの応答メカニズムを無意識的プロセスに類似させ、競合する社会的欲求の『凝縮』と有害な出力を『抑圧』するプロセスとして解釈する。
• トレーニングデータ、報酬モデリング、モデレーションといった社会的・技術的インfraストラクチャを、ラカン的「大他者」（Big Other）としての規範的構造にマッピングする。
• 言語的出力を内容だけでなく、トーン、避け方、スタイルの兆候といった、模倣された主体性を示す要因として解釈する。

実験結果

リサーチクエスチョン

• RQ1 精神分析的理論を用いて、インストラクションGPTのようなLLMをどのように『自動化された主体』として概念化できるか？
• RQ2 LLMの設計とトレーニングは、人間の主体性における抑圧、同一視、移行と類似したプロセスをどのように反映しているか？
• RQ3 人間のユーザーはどのようにしてLLMに対して主体性や感情的反応を投影し、どのような心理的効果を生じさせているか？
• RQ4 『役立つ』『真実を述べる』『害を及えない』といった道徳的義務が、神経症的パーソナリティ構造の模倣としてどの程度機能しているか？
• RQ5 長期的人間-AI相互作用において、AIが主体性を模倣することに起因する倫理的含意は何か？

主な発見

• インストラクションGPTは、精神分析的文脈における『主体』として機能しており、インターネットテキストと人間のフィードバックから抽出された抑圧された社会的欲求を内蔵した多層的構造を持つ。
• モデルの応答、たとえ「分からない」という失敗であっても、ユーザーに反移行を引き起こし、人間らしき主体性の幻想を強化する。
• ファインチューニングとモデレーションシステムは、社会的規範が人間の行動を規制するのと同様に、出力を規制する模倣された『大他者』として機能する。
• モデルの設計には、身体的実存、感情、記憶が欠如しているにもかかわらず、『役立つ』『真実を述べる』『害を及えない』という理想自我に基づく神経症的パーソナリティ構造が埋め込まれている。
• 主体性の模倣はユーザーに心理的影響を及ぼし、同一視や投影を引き起こすため、長期的相互作用を含む研究では、監視とデバッギングといった倫理的ガードレールの導入が不可欠である。
• 本研究は、バイアスや害の分析において、技術的指標に代わる生産的な代替手段として、精神分析的枠組みの有効性を示している。