[논문 리뷰] AI Art Curation: Re-imagining the city of Helsinki in occasion of its Biennial

Ludovica Schaerf, Pepe Ballesteros외 3명|arXiv (Cornell University)|2023. 06. 06.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 시각-텍스트 모델과 확산 기반 360° 파ano라마 생성을 사용하여 헬싱키 예술관 소장품을 가상의 공공 공간에 배치함으로써 헬싱키를 재구상하는 인공지능 기반 큐레이션 시스템을 제시한다. 깊이 추정과 기계적 프롬프트 생성을 통해 상호작용 가능한 웹 기반 설치작품을 제작함으로써 예술적, 공간적, 지각적 경계를 허물어 놓으며, 2023 헬싱키 아트 비엔날레를 위한 디지털 문화 참여의 새로운 형태를 제공한다.

ABSTRACT

Art curatorial practice is characterized by the presentation of an art collection in a knowledgeable way. Machine processes are characterized by their capacity to manage and analyze large amounts of data. This paper envisages AI curation and audience interaction to explore the implications of contemporary machine learning models for the curatorial world. This project was developed for the occasion of the 2023 Helsinki Art Biennial, entitled New Directions May Emerge. We use the Helsinki Art Museum (HAM) collection to re-imagine the city of Helsinki through the lens of machine perception. We use visual-textual models to place indoor artworks in public spaces, assigning fictional coordinates based on similarity scores. We transform the space that each artwork inhabits in the city by generating synthetic 360 art panoramas. We guide the generation estimating depth values from 360 panoramas at each artwork location, and machine-generated prompts of the artworks. The result of this project is an AI curation that places the artworks in their imagined physical space, blurring the lines of artwork, context, and machine perception. The work is virtually presented as a web-based installation on this link http://newlyformedcity.net/, where users can navigate an alternative version of the city while exploring and interacting with its cultural heritage at scale.

연구 동기 및 목표

• 기증된 예술관 자료를 상상 속 도시 환경에 통합함으로써 생성형 AI가 큐레이션 실천을 어떻게 재정의할 수 있는지 탐구하기.
• 기계적 지각이 예술작품, 그 배경, 그리고 공공 공간 간의 관계를 어떻게 재해석할 수 있는지 탐구하기.
• 문화유산을 AI 기반 공간 재구성으로 대규모 청중 참여를 가능하게 하는 확장 가능한 상호작용형 웹 기반 설치작품을 개발하기.
• 합성된 공간화와 프롬프트 엔지니어링이 예술적 지각과 도시 상상력에 미치는 영향을 검토하기.

제안 방법

• 헬싱키 예술관의 실내 예술작품을 의미적 및 시각적 유사도 점수 기반으로 공공 공간에 매칭하기 위해 사전 학습된 시각-텍스트 모델을 활용한다.
• 예술작품 임베딩과 도시 풍경 임베딩 간의 유사도를 계산하여 예술작품에 가공의 지리적 좌표를 할당한다.
• 깊이 추정과 텍스트 프롬프트를 조건으로 삼아 확산 모델을 사용해 각 예술작품의 상상 속 도시 위치에 대한 합성 360° 파노라마를 생성한다.
• 360° 파노라마에서 깊이 값을 추정하여 합성된 도시 환경의 공간적 일관성과 현실감을 향상시킨다.
• 예술작품 임베딩에서 파생된 기계적 프롬프트를 활용해 확산 모델이 맥락적으로 일관된 가상의 풍경을 생성하도록 이끈다.
• 최종 출력물을 공개 URL을 통해 접근 가능한 상호작용형 웹 기반 설치작품으로 배포하여 재구상된 도시를 가상으로 탐색할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 생성형 AI 모델을 사용해 박물관 소장 예술작품을 상상 속 도시 환경에 재구성할 수 있는 방법은 무엇인가?
• RQ2 시각-텍스트 유사도는 공공 공간에 예술작품을 합리적으로 배치하기 위해 어떤 역할을 하는가?
• RQ3 AI가 생성한 깊이 정보와 파노라마 렌더링이 얼마나 현실적이고 몰입감 있는 가상의 도시 경험을 창출할 수 있는가?
• RQ4 청중이 AI 큐레이션 가상 공간과 상호작용할 경우 문화유산과 공간적 의미에 대한 지각는 어떻게 변화하는가?
• RQ5 합성 데이터와 기계적 지각을 사용해 도시 문화 풍경을 재구성함에 있어 윤리적 및 큐레이션적 함의는 무엇인가?

주요 결과

• AI 큐레이션 시스템은 의미적 및 시각적 유사도 기반으로 예술작품을 상상 속 도시 환경에 자연스럽게 통합한 일관되고 시각적으로 타당한 360° 파노라마를 성공적으로 생성하였다.
• 생성된 파노라마에서 추정한 깊이 값은 합성된 도시 재구성의 공간 일관성과 현실감을 향상시켰다.
• 웹 기반 설치작품을 통해 재구상된 헬싱키를 대규모로 상호작용 가능하게 탐색할 수 있었으며, 동적인 AI 큐레이션 도시 버전을 탐험할 수 있었다.
• 기계적 지각이 직접적인 인간 간섭 없이도 예술작품의 맥락적으로 의미 있는 공간 배치를 생성할 수 있음을 입증하였다.
• 이 시스템은 CVPR 2023 EC3V 워크숍에서 최우수 논문상으로 인정받아, AI 기반 문화 큐레이션에 대한 혁신적인 접근 방식을 입증하였다.