[论文解读] How to Do Things with Deep Learning Code

Minh Hua, Rita Raley|arXiv (Cornell University)|Apr 19, 2023

Ethics and Social Impacts of AI被引用 4

一句话总结

本文通过分析 OpenAI 的 GPT-2，将批判性代码研究（CCS）应用于深度学习代码，聚焦于模型级代码与应用级代码两类。研究揭示，代码——尤其是应用级代码——在主动塑造模型行为方面发挥关键作用，通过过滤与结构设计实现输出工程，从而为揭开人工智能的神秘面纱、实现对大型语言模型的批判性、创造性与负责任的参与提供路径。

ABSTRACT

The premise of this article is that a basic understanding of the composition and functioning of large language models is critically urgent. To that end, we extract a representational map of OpenAI's GPT-2 with what we articulate as two classes of deep learning code, that which pertains to the model and that which underwrites applications built around the model. We then verify this map through case studies of two popular GPT-2 applications: the text adventure game, AI Dungeon, and the language art project, This Word Does Not Exist. Such an exercise allows us to test the potential of Critical Code Studies when the object of study is deep learning code and to demonstrate the validity of code as an analytical focus for researchers in the subfields of Critical Artificial Intelligence and Critical Machine Learning Studies. More broadly, however, our work draws attention to the means by which ordinary users might interact with, and even direct, the behavior of deep learning systems, and by extension works toward demystifying some of the auratic mystery of "AI." What is at stake is the possibility of achieving an informed sociotechnical consensus about the responsible applications of large language models, as well as a more expansive sense of their creative capabilities-indeed, understanding how and where engagement occurs allows all of us to become more active participants in the development of machine learning systems.

研究动机与目标

• 探究批判性代码研究（CCS）是否可有效应用于包含统计与数学组件（超越符号代码）的深度学习系统。
• 证明代码——尤其是应用级代码——在塑造 GPT-2 等大型语言模型的行为与输出方面发挥核心作用。
• 通过展示开源代码如何实现审查、修改与集体责任，挑战人工智能作为不可穿透的“黑箱”的认知。
• 通过将代码本身作为分析焦点，而非仅关注模型架构或数据，拓展批判性人工智能研究（CAIS）的范畴。
• 倡导一种更具包容性与参与性的 AI 开发模式，使用户与开发者能够通过代码主动塑造与引导模型行为。

提出的方法

• 作者提取了 GPT-2 代码库的代表性映射图，区分模型级代码（定义架构与推理过程）与应用级代码（ADLC），后者用于组织用户交互。
• 针对两个基于 GPT-2 的应用开展案例研究：AI Dungeon（文字冒险游戏）与 This Word Does Not Exist（TWDNE，语言艺术项目），以分析 ADLC 如何塑造模型输出。
• 分析聚焦于 ADLC 如何利用模式匹配、正则表达式与过滤机制来调控与结构化模型的生成行为。
• 本研究将 GPT-2 视为非单一整体系统，而是一个由开源代码、训练数据与开发者施加的约束共同构成的分布式产物。
• 将 CCS 原则应用于符号代码与数学运算，主张深度学习系统中的代码不仅可分析其语法，还可分析其功能与伦理影响。
• 作者通过屏幕截图与代码检查，追踪输出的工程化过程——例如，TWDNE 中的“虚构”词汇并非生成，而是通过结构化数据处理功能性返回。

实验结果

研究问题

• RQ1 批判性代码研究能否在包含统计与数学组件（超越符号代码）的深度学习系统中实现有意义的应用？
• RQ2 基于 GPT-2 的系统中，应用级代码（ADLC）在多大程度上主动塑造、调控并结构化大型语言模型的行为？
• RQ3 开发者在何种方式下通过代码调节语言模型输出的表达潜力与风险（如仇恨言论或逻辑混乱）？
• RQ4 GPT-2 代码的开源特性如何促进集体责任、审查机制与创造性参与在 AI 开发中的实现？
• RQ5 代码能否成为人工智能系统中批判性与创造性干预的场域，使用户能够超越被动消费，实现主动参与？

主要发现

• AI Dungeon 与 This Word Does Not Exist 等系统中的应用级代码（ADLC）并非被动界面，而是主动过滤、结构化并塑造模型输出的机制，其影响力常超过模型自身的生成过程。
• This Word Does Not Exist 项目表明，GPT-2 并非生成新词，而是通过结构化数据处理返回预设内容，从而揭示模型实为函数而非有意识实体。
• GPT-2 代码的开源特性使开发者能够通过模式匹配与正则表达式识别并实现对有害输出（如仇恨言论）的过滤，从而实施防护措施。
• GPT-2 的开发并非集中于 OpenAI 单一机构；相反，它是由业余、学术与专业开发者共同参与的协作性、分布式努力，集体塑造其行为。
• 本研究揭示，模型的“自由表达力”可通过代码加以引导，表明负责任的 AI 开发不仅可能，且已通过社区主导的代码干预措施实际展开。
• 通过将代码视为批判性探究的场域，本文表明深度学习系统并非不可分割的黑箱，而是可塑、可分析、可修改的产物。