[논문 리뷰] There Is a Digital Art History

Leonardo Impett, Fabian Offert|arXiv (Cornell University)|2022. 04. 03.

Aesthetic Perception and Analysis인용 수 1

한 줄 요약

이 논문은 대규모 시각 모델—특히 트랜스포머 기반의 기초 모델—이 요하나 드루커가 정의한 '디지털 예술사'로의 패러다임 전환을 가능하게 했다고 주장한다. 비대칭적이고 추상적인 요소들 같은 표현을 초월한 시각적 논리 분석과 CLIP 기반 모델을 활용한 두 가지 사례 연구를 통해, 저자들은 이제 디지털 예술사가 모델과 그 학습 데이터 간의 인지적 얽힘을 비판적으로 다뤄야 하며, 이로 인해 이 분야는 본질적으로 다학제적이고 방법론적으로 자기반성적인 성격을 띠게 되었다고 밝힌다.

ABSTRACT

In this paper, we revisit Johanna Drucker's question, "Is there a digital art history?" -- posed exactly a decade ago -- in the light of the emergence of large-scale, transformer-based vision models. While more traditional types of neural networks have long been part of digital art history, and digital humanities projects have recently begun to use transformer models, their epistemic implications and methodological affordances have not yet been systematically analyzed. We focus our analysis on two main aspects that, together, seem to suggest a coming paradigm shift towards a "digital" art history in Drucker's sense. On the one hand, the visual-cultural repertoire newly encoded in large-scale vision models has an outsized effect on digital art history. The inclusion of significant numbers of non-photographic images allows for the extraction and automation of different forms of visual logics. Large-scale vision models have "seen" large parts of the Western visual canon mediated by Net visual culture, and they continuously solidify and concretize this canon through their already widespread application in all aspects of digital life. On the other hand, based on two technical case studies of utilizing a contemporary large-scale visual model to investigate basic questions from the fields of art history and urbanism, we suggest that such systems require a new critical methodology that takes into account the epistemic entanglement of a model and its applications. This new methodology reads its corpora through a neural model's training data, and vice versa: the visual ideologies of research datasets and training datasets become entangled.

연구 동기 및 목표

• 최근의 시각 기초 모델 발전을 고려해 요하나 드루커가 2013년 제기한 '디지털 예술사가 존재하는가?'라는 질문을 재평가하기 위해.
• 대규모 시각 모델이 예술사 연구에 미치는 인지론적 함의를 조사하기 위해.
• 디지털 예술사가 이제 모델 학습 데이터와 시각적 이데올로기의 비판적 분석을 포함해야 한다는 것을 입증하기 위해.
• 연구 코퍼스와 모델 학습 데이터를 상호 얽힌 의미의 근원으로 읽는 새로운 방법론을 제안하기 위해.
• 기초 모델의 시대에 예술사, 미디어 스터디, 그리고 컴퓨팅 인문학 간의 다학제적 협업을 촉진하기 위해.

제안 방법

• 대규모 이미지 코퍼스에서 시각적 논리를 추출하기 위해 CLIP 기반의 시각 모델을 분석 도구로 활용한다.
• 제로샷 프롬프팅과 대조적 학습을 적용하여 비도상적이고 비표현적인 시각 형태를 분석한다.
• 기술적 사례 연구 두 가지를 수행: 2D-CLIP를 사용한 도시 공간 인식에 관한 연구, CLIP-MAP를 활용한 예술 스타일 진화에 관한 연구.
• 모델 학습 데이터를 문화 아카이브로 간주하고, 그 안에 담긴 이데올로기적 인식이 시각적 추론에 어떻게 영향을 미치는지 분석하는 비판적 방법론을 적용한다.
• 역방향 해석을 수행: 모델 출력을 활용해 사전 학습 데이터에 담긴 시각 문화를 탐구한다.
• CLIP-MAP와 2D-CLIP 도구를 공개하여 재현 가능성과 방법론적 투명성을 확보한다.

실험 결과

연구 질문

• RQ1 대규모 시각 모델은 서양 시각 문헌의 비도상적이고 비투시적 시각 논리를 어떻게 코딩하고 재생산하는가?
• RQ2 기초 모델의 학습 데이터가 디지털 예술사의 인지 틀에 얼마나 깊이 영향을 미치는가?
• RQ3 디지털 예술사는 어떻게 객체 인식을 넘어서 신경망 모델을 통해 근접 및 원거리 시각 분석을 통합할 수 있는가?
• RQ4 모델 행동과 학습 데이터 간의 얽힘을 비판적으로 분석하기 위해 어떤 방법론적 전환이 필요한가?
• RQ5 예술사는 어떻게 시각 모델의 다의적이고 벡터 기반의 추론 방식을 새로운 형태의 시각 분석으로 활용할 수 있는가?

주요 결과

• 대규모 시각 모델은 비도상적이고 비투시적 논리를 포함한 광범위한 시각-문화적 보편성을 코딩하고 있어, 이는 예술사에서 새로운 형태의 시각 분석 가능성을 열어준다.
• 이러한 모델의 디지털 생활 전반에 걸친 광범위한 배포는 서양 시각 문헌을 지배적인 문화적 프레임워크로 계속해서 강화하고 구체화하고 있다.
• CLIP-MAP와 2D-CLIP를 활용한 사례 연구는 이러한 모델이 예술과 도시 형태의 공간적·스타일적 패턴을 대규모로 탐지할 수 있음을 입증한다.
• 시각 모델의 학습 데이터는 중립적이지 않으며, 이는 모델 출력에 영향을 미치고 따라서 예술사 해석에 영향을 미치는 시각적 이데올로기를 내포하고 있다.
• 연구 코퍼스와 모델 학습 데이터를 상호 구성적인 의미 근원으로 간주하는 새로운 비판적 방법론이 필요하다.
• 디지털 예술사 분야는 이제 비판적 머신 비전을 核심 구성 요소로 포함해야 하며, 이는 미디어 스터디와 컴퓨팅 인문학의 통찰을 통합해야 한다.