[論文レビュー] Unmaking AI Imagemaking: A Methodological Toolkit for Critical Investigation

Luke Munn, Liam Magee+1 more|arXiv (Cornell University)|Jul 19, 2023

Aesthetic Perception and AnalysisNeuroscience被引用数 3

ひとこと要約

本論文は、Stable Diffusion などの生成的AI画像モデルを批判的に調査するための三本の柱のメソドロジカルツールキット——『エコシステムの解体』、『データの解体』、『出力の解体』——を紹介する。生産インcentive、トレーニングデータのバイアス、反復的プロンプトによる生成出力の分析を通じて、このフレームワークは、これらのモデルがどのように社会的ステレオタイプや権力の不均衡を再現しているかを明らかにし、政治的・社会的に配慮したAI研究の基盤を提供する。

ABSTRACT

AI image models are rapidly evolving, disrupting aesthetic production in many industries. However, understanding of their underlying archives, their logic of image reproduction, and their persistent biases remains limited. What kind of methods and approaches could open up these black boxes? In this paper, we provide three methodological approaches for investigating AI image models and apply them to Stable Diffusion as a case study. Unmaking the ecosystem analyzes the values, structures, and incentives surrounding the model's production. Unmaking the data analyzes the images and text the model draws upon, with their attendant particularities and biases. Unmaking the output analyzes the model's generative results, revealing its logics through prompting, reflection, and iteration. Each mode of inquiry highlights particular ways in which the image model captures, "understands," and recreates the world. This accessible framework supports the work of critically investigating generative AI image models and paves the way for more socially and politically attuned analyses of their impacts in the world.

研究の動機と目的

• 生成的AI画像モデルの社会的・技術的運用を検証するための批判的でアクセス可能な方法の欠如に対処すること。
• AI画像モデルの透明性の欠如と神話化を、多様な学問的枠組みを統合したメソドロジカルフレームワークの開発によって挑戦すること。
• 系統的な問いかけを通じて、トレーニングデータ、モデルアーキテクチャ、生成出力に埋め込まれたバイアスを研究者が特定できるようにすること。
• 技術的評価を超えて、政治的・倫理的な関与を支援すること。
• Stable Diffusion などのオープンソースモデルを含め、さまざまなモデルに適用可能な柔軟で適応可能なツールキットを提供すること、ただし透明度のレベルに差があることにもかかわらず。

提案手法

• エコシステムの解体：企業所有、資金調査、組織的目標を含む、モデル開発の背後にある商業的・制度的・インcentive構造を分析する。
• データの解体：テキスト・画像ペアとしてのトレーニングデータの構成、出どころ、バイアスを調査し、歴史的・文化的な不均衡がモデル行動にどのように組み込まれているかを強調する。
• 出力の解体：反復的プロンプト、自己反省、インターフェースベースの実験を通じて、生成画像におけるモデル論理、ステレオタイプ、美的傾向を明らかにする。
• 批判的AI研究、デジタル・メソッド、メディア研究の手法を統合し、AI画像モデルの包括的で社会的・技術的分析を達成する。
• Stable Diffusion を代表的なオープンソースモデルとして用いた事例研究法を採用し、ツールキットの適用可能性を示す。
• 多様な研究伝統を統合して再帰的で多様な分析を促進する「解釈的汚染」を重視し、単純化された技術的または純粋な文化的分析を避ける。

実験結果

リサーチクエスチョン

• RQ1 AI画像モデル開発を取り巻く商業的・制度的構造は、その設計や展開にどのように影響を与えているか？
• RQ2 生成的画像モデルのトレーニングデータに埋め込まれたバイアスや表象パターンは何か。それらは歴史的な権力の不均衡をどのように反映しているか？
• RQ3 プロンプト戦略は、モデルの下位の論理、美的好み、ステレオタイプ的傾向を生成画像においてどのように明らかにするか？
• RQ4 生成的出力は、視覚文化における既存のジェンダー、人種、性的ステレオタイプをどのように再現するか、あるいはそれを挑戦するか？
• RQ5 研究者が技術的、文化的、政治的側面を同時に考慮した、批判的で多次元的なAI画像モデル理解をどのように構築できるか？

主な発見

• 『ナース』とプロンプトすると、Stable Diffusion は主に白人で若く、古典的に美しい女性ナースを生成し、出力に強いジェンダーと人種的ステレオタイプが内蔵されていることが明らかになった。
• 『ハイパーリアリストィック』および『4K』というキーワードの組み合わせがプロンプトに含まれると、写真、デジタルアート、3Dレンダリングを融合したハイブリッドな美的スタイルが生成され、モデル固有のスタイル的傾向が示された。
• 『脅威のある顔』や『親しみやすい顔』といったプロンプトは、常に既存の社会的バイアス、人種的・ジェンダー的ステレオタイプのキャラクターを反映する画像を生成した。
• インターセックス・ジェンダー以外のアイデンティティは、生成画像において人間らしさが欠落し、より性的化され、よりステレオタイプ化されており、深刻な表象の不平等が示された。
• 反復的プロンプトと自己反省を通じて、モデルが中立的または客観的な表現を生成するのではなく、既存の文化的規範を再現・強化していることが明らかになった。
• このツールキットは、AI画像モデルが中立的なツールではなく、トレーニングデータと開発エコシステムに埋め込まれた構造的不平等を反映・強化していることを効果的に暴露した。