[论文解读] AI Art Curation: Re-imagining the city of Helsinki in occasion of its Biennial

Ludovica Schaerf, Pepe Ballesteros+3 more|arXiv (Cornell University)|Jun 6, 2023

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用 3

一句话总结

本文提出了一种由人工智能驱动的策展系统，通过视觉-文本模型和基于扩散的360°全景生成技术，将赫尔辛基艺术博物馆的藏品置于虚构的公共空间中，重新构想赫尔辛基城市景观。通过估算深度并生成机器提示，该项目创建了一个交互式基于网络的装置，模糊了艺术、空间与感知之间的界限，为2023年赫尔辛基艺术双年展提供了一种新型数字文化参与形式。

ABSTRACT

Art curatorial practice is characterized by the presentation of an art collection in a knowledgeable way. Machine processes are characterized by their capacity to manage and analyze large amounts of data. This paper envisages AI curation and audience interaction to explore the implications of contemporary machine learning models for the curatorial world. This project was developed for the occasion of the 2023 Helsinki Art Biennial, entitled New Directions May Emerge. We use the Helsinki Art Museum (HAM) collection to re-imagine the city of Helsinki through the lens of machine perception. We use visual-textual models to place indoor artworks in public spaces, assigning fictional coordinates based on similarity scores. We transform the space that each artwork inhabits in the city by generating synthetic 360 art panoramas. We guide the generation estimating depth values from 360 panoramas at each artwork location, and machine-generated prompts of the artworks. The result of this project is an AI curation that places the artworks in their imagined physical space, blurring the lines of artwork, context, and machine perception. The work is virtually presented as a web-based installation on this link http://newlyformedcity.net/, where users can navigate an alternative version of the city while exploring and interacting with its cultural heritage at scale.

研究动机与目标

• 探究生成式人工智能在通过整合博物馆藏品至想象中的城市环境，重新定义策展实践方面的潜力。
• 探索机器感知如何重新诠释艺术品、其语境与公共空间之间的关系。
• 开发一种可扩展的、交互式的基于网络的装置，通过人工智能生成的空间重构，实现大众对文化遗产的大规模参与。
• 探讨合成空间化与提示工程在塑造艺术感知与城市想象方面的潜在影响。

提出的方法

• 利用预训练的视觉-文本模型，基于语义和视觉相似性评分，将赫尔辛基艺术博物馆的室内艺术品与公共空间进行匹配。
• 通过计算艺术品嵌入与城市场景嵌入之间的相似性，为艺术品分配虚构的地理坐标。
• 利用扩散模型，基于深度估计和文本提示，生成每件艺术品在想象中的城市位置的合成360°全景图。
• 从360°全景图中估算深度值，以增强空间真实感，并指导合成城市环境的一致性生成。
• 采用由艺术品嵌入生成的机器提示，引导扩散模型创建语境一致的虚拟场景。
• 将最终输出以交互式基于网络的装置形式部署，通过公开URL提供访问，支持用户对重新构想的城市进行虚拟导航。

实验结果

研究问题

• RQ1 如何利用生成式人工智能模型将博物馆艺术品重新语境化于虚构的城市环境中？
• RQ2 视觉-文本相似性在确定艺术品在公共空间中合理空间位置方面发挥何种作用？
• RQ3 人工智能生成的深度与全景渲染在多大程度上能够创造出令人信服且沉浸式的虚拟城市体验？
• RQ4 观众与人工智能策展的虚拟空间互动，如何影响其对文化遗产与空间意义的认知？
• RQ5 使用合成数据与机器感知重建城市文化景观，其伦理与策展层面的含义是什么？

主要发现

• 人工智能策展系统成功生成了语义和视觉上合理一致的360°全景图，将艺术品自然地整合进虚构的城市环境。
• 从生成的全景图中估算深度值，显著提升了合成城市重构的空间一致性和真实感。
• 基于网络的装置实现了对重新构想的赫尔辛基的可扩展、交互式探索，使用户能够导航一个动态的、由人工智能策展的城市。
• 该研究证明，机器感知能够在无需直接人工干预的情况下，生成具有语境意义的艺术品空间布局。
• 该系统在CVPR 2023 EC3V研讨会上荣获最佳论文奖，验证了其在人工智能驱动文化策展方面创新方法的有效性。