[論文レビュー] There Is a Digital Art History

Leonardo Impett, Fabian Offert|arXiv (Cornell University)|Apr 3, 2022

Aesthetic Perception and Analysis被引用数 1

ひとこと要約

本論文は、特にトランスフォーマーに基づくファウンデーションモデルを含む大規模なビジョンモデルが、ヨハナ・ドゥルカーが定義したように、『デジタル的』な美術史へのパラダイムシフトを可能にしたと主張している。視覚的論理（例：非透視的、抽象的）を表象を超えて分析し、CLIPベースのモデルを用いた2つの事例研究を通じて、デジタル美術史は今や、モデルとその学習データの認識論的錯綜を的確に分析する必要があり、この分野は本質的に多様な学問分野にまたがり、方法論的に自己反省的であると再定義されるべきであることを示している。

ABSTRACT

In this paper, we revisit Johanna Drucker's question, "Is there a digital art history?" -- posed exactly a decade ago -- in the light of the emergence of large-scale, transformer-based vision models. While more traditional types of neural networks have long been part of digital art history, and digital humanities projects have recently begun to use transformer models, their epistemic implications and methodological affordances have not yet been systematically analyzed. We focus our analysis on two main aspects that, together, seem to suggest a coming paradigm shift towards a "digital" art history in Drucker's sense. On the one hand, the visual-cultural repertoire newly encoded in large-scale vision models has an outsized effect on digital art history. The inclusion of significant numbers of non-photographic images allows for the extraction and automation of different forms of visual logics. Large-scale vision models have "seen" large parts of the Western visual canon mediated by Net visual culture, and they continuously solidify and concretize this canon through their already widespread application in all aspects of digital life. On the other hand, based on two technical case studies of utilizing a contemporary large-scale visual model to investigate basic questions from the fields of art history and urbanism, we suggest that such systems require a new critical methodology that takes into account the epistemic entanglement of a model and its applications. This new methodology reads its corpora through a neural model's training data, and vice versa: the visual ideologies of research datasets and training datasets become entangled.

研究の動機と目的

• 近年のビジョンファウンデーションモデルの進展を踏まえ、ヨハナ・ドゥルカーが2013年に提起した『デジタル的美術史はあるのか』という問いを再評価すること。
• 大規模ビジョンモデルが美術史的探求に与える認識論的影響を調査すること。
• デジタル美術史は、今やモデルの学習データおよび視覚的イデオロギーの批判的分析を含むべきであることを実証すること。
• 研究コーパスとモデルの学習データを相互に錯綜する意味の源として読み解く新しい方法論を提唱すること。
• ファウンデーションモデルの時代における、美術史、メディアスタディーズ、コンピューターヒューマニティーズの間の協働を提唱すること。

提案手法

• 大規模な画像コーパスからの視覚的論理を抽出する分析的ツールとして、CLIPベースのビジョンモデルを活用する。
• ゼロショットプロンプティングと対照的学習を用いて、非図像的・非表象的視覚形態を分析する。
• 2つの技術的事例研究を実施：2D-CLIPを用いた都市空間認識に関する研究、CLIP-MAPを用いた芸術的スタイルの進化に関する研究。
• モデルの学習データを文化的アーカイブとみなす批判的アプローチを採用し、視覚的推論に与えるイデオロギー的インパルスを分析する。
• 逆方向の解釈を実施：モデルの出力を用いて、事前に学習されたデータに埋め込まれた視覚的文化を検証する。
• CLIP-MAPおよび2D-CLIPツールを公開し、再現可能性と方法論の透明性を確保する。

実験結果

リサーチクエスチョン

• RQ1 大規模ビジョンモデルは、西洋視覚芸術の正統的体系から非表象的・非透視的視覚的論理をどのようにエンコードし、再現するのか。
• RQ2 ファウンデーションモデルの学習データが、デジタル美術史の認識論的枠組みにどの程度影響を与えているか。
• RQ3 神経ネットワークモデルを通じて、対象認識を超えて、ミクロ的・マクロ的視察を統合するデジタル美術史はどのように実現できるか。
• RQ4 モデルの行動と学習データの錯綜を批判的に分析するには、どのような方法論的転換が必要か。
• RQ5 美術史は、ビジョンモデルの多義的かつベクトルベースの推論を、新しい視覚的分析の形としてどのように活用できるか。

主な発見

• 大規模ビジョンモデルは、非図像的・非透視的論理を含む広範な視覚的・文化的レパートリーをエンコードしており、これにより美術史における新しい視覚的分析の形態が可能になる。
• これらのモデルがデジタル生活に広く展開されることで、西洋視覚芸術の正統的体系が支配的な文化的枠組みとして継続的に強化され、具現化されている。
• CLIP-MAPおよび2D-CLIPを用いた事例研究は、これらのモデルが大規模にアートや都市的形態における空間的・スタイル的パターンを同定できることを示している。
• ビジョンモデルの学習データは中立的ではない。それらはモデルの出力に影響を及ぼす視覚的イデオロギーを内包しており、結果として美術史的解釈に影響を与えている。
• 研究コーパスとモデルの学習データを共に意味の共構築的源として扱う、新たな批判的メソドロジーの導入が不可欠である。
• デジタル美術史の分野は、今後、批判的マシンビジョンをコアな構成要素として統合し、メディアスタディーズおよびコンピューターヒューマニティーズの知見を統合する必要がある。