[論文レビュー] Pretrained AI Models: Performativity, Mobility, and Change

Lav R. Varshney, Nitish Shirish Keskar+1 more|arXiv (Cornell University)|Sep 7, 2019

Topic Modeling参考文献 79被引用数 19

ひとこと要約

この論文は、事前学習済みAIモデルを社会技術的実体として分析し、その実効性、ユーザーネットワーク内での移動性、および倫理的含意を検討する。本稿は、責任あるイノベーション、ユーザー中心の設計、動的監視を統合したガバナンス枠組みを提唱し、バイアスや誤用の問題に対処する。生産者とリードユーザー間の共有責任を強調する。

ABSTRACT

The paradigm of pretrained deep learning models has recently emerged in artificial intelligence practice, allowing deployment in numerous societal settings with limited computational resources, but also embedding biases and enabling unintended negative uses. In this paper, we treat pretrained models as objects of study and discuss the ethical impacts of their sociological position. We discuss how pretrained models are developed and compared under the common task framework, but that this may make self-regulation inadequate. Further how pretrained models may have a performative effect on society that exacerbates biases. We then discuss how pretrained models move through actor networks as a kind of computationally immutable mobile, but that users also act as agents of technological change by reinterpreting them via fine-tuning and transfer. We further discuss how users may use pretrained models in malicious ways, drawing a novel connection between the responsible innovation and user-centered innovation literatures. We close by discussing how this sociological understanding of pretrained models can inform AI governance frameworks for fairness, accountability, and transparency.

研究の動機と目的

• 事前学習済みAIモデルが社会的・技術的ネットワークを移動する際の社会学的および倫理的含意を分析すること。
• AI分野における共通タスクフレームワークが、バイアスの悪化や予期しない使用を助長する実効性を生み出す仕組みを検討すること。
• ファインチューニングやトランスファーラーニングを通じて、リードユーザーが事前学習済みモデルを再解釈・再利用する役割を調査すること。
• ユーザー主導の技術的変化と共有責任を含めた責任あるイノベーション枠組みの拡張を主張すること。
• モデルの移動性、解釈の柔軟性、進化する社会的影響を考慮した多層的ガバナンスモデルを提唱すること。

提案手法

• 科学技術研究（STS）フレームワーク、特に社会的技術の構築（SCOT）とアクトアーネットワーク理論を応用し、事前学習済みモデルを社会技術的エージェントとして分析する。
• 共通ベンチマークへの志向がモデル開発を駆り立て、システム的バイアスを強化する「聖杯的実効性（Holy Grail performativity）」という概念を導入する。
• 生産者とリードユーザーが倫理的結果について共有責任を負うネットワーク中心のガバナンスモデルを提唱する。
• 生産者中心、静的、デッドレコーデッド（フィードバックベース）の3つのガバナンスパラダイムを導入し、進化するリスクと予期しない使用に対応する。
• モデルの移動性と応用分野間での再結合を予測するため、構成的計算式と技術予測手法を提唱する。
• 継続的なリスク監視のため、統計的公平性テストと社会的学習メカニズムを事後監視に統合する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みAIモデルは、どのように社会的規範やバイアスを形作り、強化する実効的エージェントとして機能するか？
• RQ2 リードユーザーは、ファインチューニングやトランスファーラーニングを通じて、事前学習済みモデルを再解釈・再利用することで、どのように技術的変化のエージェントとして機能するか？
• RQ3 なぜ自己規制は事前学習済みモデルのガバナンスに不十分であり、静的ガバナンスアプローチの限界は何か？
• RQ4 多様な応用分野において、事前学習済みモデルの移動性と解釈の柔軟性を考慮したガバナンス枠組みは、どのように適応可能になるか？
• RQ5 ユーザーイノベーションと共有責任は、二重用途リスクや予期しない結果を踏まえて、AIガバナンスにおいて果たすべき役割は何か？

主な発見

• GPT-2のような大規模な事前学習済みモデルの訓練には25万ドルがかかる一方、SQuAD上でBERTをファインチューニングするにはたった3,000ドルで済むことから、下流ユーザーに大きなコスト格差が生じている。
• AI分野における共通タスクフレームワークは「聖杯的実効性（Holy Grail performativity）」を生み出し、モデルがベンチマーク性能の向上に駆り立てられ、埋め込まれたバイアスが拡大する可能性がある。
• 事前学習済みモデルは「計算的不変性（computational immutability）」を示す——訓練が終了すれば変更が困難であるが、解釈可能で多様な応用分野で再利用可能である。
• リードユーザーによるファインチューニングやトランスファーによる影響は、生産者のコントロール外でモデルの進化を大きく左右するため、技術的変化の主要なエージェントである。
• パフォーマンス志向の研究の勢いと二重用途リスクを考慮すると、自己規制や自己課せられたリリース停止は不十分である。
• 公平性、説明責任、透明性を実現するには、生産者責任、静的構成ルール、フィードバックベースの監視を組み合わせた多段階ガバナンスアプローチが必要である。