[論文レビュー] How to Do Things with Deep Learning Code

Minh Hua, Rita Raley|arXiv (Cornell University)|Apr 19, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

この論文は、GPT-2のコードを、モデルレベルとアプリケーションレベルの2つのコードクラスに分けて分析することで、深層学習コードに『クリティカル・コード・スタディーズ』を適用する。コード、特にAIダンジョンやThis Word Does Not Existのようなアプリケーションでは、フィルタリングや構造化を通じて出力を設計する開発者の働きが顕在され、AIを解体し、批判的で創造的かつ責任ある大規模言語モデルとの関わり方を可能にする道筋を示している。

ABSTRACT

The premise of this article is that a basic understanding of the composition and functioning of large language models is critically urgent. To that end, we extract a representational map of OpenAI's GPT-2 with what we articulate as two classes of deep learning code, that which pertains to the model and that which underwrites applications built around the model. We then verify this map through case studies of two popular GPT-2 applications: the text adventure game, AI Dungeon, and the language art project, This Word Does Not Exist. Such an exercise allows us to test the potential of Critical Code Studies when the object of study is deep learning code and to demonstrate the validity of code as an analytical focus for researchers in the subfields of Critical Artificial Intelligence and Critical Machine Learning Studies. More broadly, however, our work draws attention to the means by which ordinary users might interact with, and even direct, the behavior of deep learning systems, and by extension works toward demystifying some of the auratic mystery of "AI." What is at stake is the possibility of achieving an informed sociotechnical consensus about the responsible applications of large language models, as well as a more expansive sense of their creative capabilities-indeed, understanding how and where engagement occurs allows all of us to become more active participants in the development of machine learning systems.

研究の動機と目的

• クリティカル・コード・スタディーズ（CCS）が、記号的コードを超える統計的・数学的要素を含む深層学習システムに効果的に適用可能かどうかを調査すること。
• コード、特にアプリケーションレベルのコードが、GPT-2のような大規模言語モデルの行動と出力を中心的に形作っていることを示すこと。
• オープンソースのコードが、モデル開発における監視・改変・集団的責任を可能にすることによって、AIを透析不能な『ブラックボックス』と見なす認識に挑戦すること。
• コードを分析の場として位置づけることで、クリティカル・エイアリー・スタディーズ（CAIS）の範囲を拡張し、モデルアーキテクチャーやデータだけでなくコードそのものを焦点にすること。
• ユーザーと開発者がコードを通じてモデルの行動を能動的に形作り直し、方向性を定められる、より包括的かつ参加型のAI開発モデルを提唱すること。

提案手法

• 著者たちは、GPT-2のコードベースから、モデルレベルのコード（アーキテクチャーや推論を定義）とアプリケーションレベルのコード（ADLC）に分ける代表的マップを抽出する。
• AIダンジョン（テキストアドベンチャーゲーム）とThis Word Does Not Exist（TWDNE、言語芸術プロジェクト）という2つのGPT-2アプリケーションを事例として選び、ADLCがモデル出力をどのように形作っているかを分析する。
• 分析は、ADLCがパターンマッチング、正規表現、フィルタリング機構をどのように使ってモデルの生成的行動を規制・構造化しているかに焦点を当てる。
• 研究はGPT-2を単一のシステムではなく、オープンソースのコード、学習データ、開発者が課した制約から成る分散型の実体として扱う。
• CCSの原則を記号的コードだけでなく、数学的演算に対しても適用し、深層学習システムにおけるコードが文法的側面だけでなく、機能的・倫理的含みについても分析可能であると主張する。
• スクリーンショットとコードの検査を用いて、出力がどのように設計されているかを追跡する。例えば、TWDNEの「発明された」単語は生成されたのではなく、構造化されたデータ処理によって機能的に返されている。

実験結果

リサーチクエスチョン

• RQ1 統計的・数学的要素を含む深層学習システムに、記号的コードを超えるCCSを意味的に適用できる範囲はどの程度か？
• RQ2 GPT-2ベースのシステムにおけるアプリケーションレベルのコード（ADLC）は、大規模言語モデルの行動をどのように能動的に形作り、規制し、構造化しているか？
• RQ3 開発者はコードをどのように使って、言語モデル出力の表現的潜在力とリスク（差別的発言や非論理的出力など）を調整しているか？
• RQ4 GPT-2のコードがオープンソースであることで、AI開発における集団的責任、監視、創造的関与がどのように可能になっているか？
• RQ5 コードは、受動的な消費から能動的参加へと移行するための、AIシステムにおける批判的・創造的介入の場として機能できるか？

主な発見

• AIダンジョン や This Word Does Not Exist のようなシステムにおけるアプリケーションレベルのコード（ADLC）は、単なる受動的インターフェースではなく、出力をフィルタリング・構造化・形作る能動的メカニズムであり、しばしばモデル自身の生成プロセスよりも強い影響を及ぼしている。
• This Word Does Not Exist のプロジェクトは、GPT-2が新しい単語を生成しているのではなく、構造化されたデータを返していることを示しており、モデルが機能的実体であることを暴露している。
• GPT-2のコードがオープンソースであることで、開発者がパターンマッチングや正規表現を用いて、差別的発言をフィルタリングするような安全対策を特定・実装できるようになった。
• GPT-2の開発はOpenAIに集中しているのではなく、アマチュア、学術、プロフェッショナルの開発者が参加する協働的・分散型の取り組みであり、その行動は皆で共同して形作られている。
• この研究は、モデルの『野生的な表現力』がコードを通じて方向付けられることを明らかにした。これは、責任あるAI開発が、コミュニティ主導のコード介入を通じて、すでに可能で進行中であるということを示している。
• コードを批判的探求の場として分析することで、この論文は、深層学習システムが単一のブラックボックスではなく、変更可能で分析可能かつ改造可能な実体として理解可能であることを示している。