[論文レビュー] The Method of Critical AI Studies, A Propaedeutic

Fabian Offert, Ranjodh Singh Dhaliwal|arXiv (Cornell University)|Nov 28, 2024

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

本論はクリティカルAI研究における方法論的問題を分析し、伝統的なベンチマーク、ブラックボックス、スタックの批判を超えた、人文学的な視点を取り入れたパイプライン志向の方法論的転換を主張する。

ABSTRACT

We outline some common methodological issues in the field of critical AI studies, including a tendency to overestimate the explanatory power of individual samples (the benchmark casuistry), a dependency on theoretical frameworks derived from earlier conceptualizations of computation (the black box casuistry), and a preoccupation with a cause-and-effect model of algorithmic harm (the stack casuistry). In the face of these issues, we call for, and point towards, a future set of methodologies that might take into account existing strengths in the humanistic close analysis of cultural objects.

研究の動機と目的

• クリティカルAI研究における支配的な方法論的策略（ベンチマーク、ブラックボックス、スタックの症例論）を特定し批判する。
• 歴史的唯物論に基づき、人文学的視点を取り入れた方法論的転換を主張する。
• 人文学の綿密な分析を定量的手法と技術的ベンチマークと統合することを提案する。
• 現代のAIインフラとデータフローをより正確に捉えるため、スタックからパイプラインへ移行することを推奨する。

提案手法

• ベンチマーク、ブラックボックス、スタックという三つの症例論を、確率的AIシステムと不適合であるとして批判的に診断する。
• サイバネティクスの歴史的分析、チューリングベンチマークの影響、ブラックボックス的語りの分析を通じて方法論的批評を基盤づける。
• 現代のAIアーキテクチャを反映するため、スタック中心のモデルからパイプライン指向の概念へ移行を提案する。
• 人文学的用語での反省的ベンチマークを含む、人文学の批評と技術分野とのより緊密な統合を訴える。
• 単一サンプルの判断ではなく、複雑な社会技術システムの綿密な読み解きを奨励する。
• 研究プログラムとして、方法論の開放性と学際的対話の必要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 ベンチマーク、ブラックボックス、スタックの症例論はクリティカルAI批評をどのように制約するのか？
• RQ2 確率的AIシステムを正確に批評するために必要な方法論的転換は何か？
• RQ3 人文学の綿密な読解を、クリティカルAI研究の定量的・技術的手法といかに効果的に統合できるか？
• RQ4 現代のAIインフラを分析する際に、スタックよりパイプラインの方がより適切な概念的枠組みとなる理由は何か？

主な発見

• クリティカルAI研究は現在、単一サンプル判断と単一インターフェースのプロンプト（ベンチマーク症例論）を過度に強調している。
• ブラックボックス的語りと説明可能性への執着は、AIシステムの歴史的・インフラ的現実を覆い隠す可能性がある。
• 従来のスタック型アルゴリズム批評は、確率的で進化するAIパイプラインにはますます適さない。
• パイプライン指向の概念的枠組みは、データフロー、モデル訓練、複数段階のAI運用とより良く整合する。
• 人文学的批評と技術的AI研究を橋渡しするには、学際的な開放性と方法論的革新が必要である。