[論文レビュー] AI Art Curation: Re-imagining the city of Helsinki in occasion of its Biennial

Ludovica Schaerf, Pepe Ballesteros+3 more|arXiv (Cornell University)|Jun 6, 2023

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用数 3

ひとこと要約

本論文は、視覚的・言語的モデルと拡散型360°パノラマ生成を用いて、ヘルシンキ美術館の作品をフィクションの公共空間に配置することで、ヘルシンキを再考するAI駆動型キュレートシステムを提示する。深度推定とマシンプロンプト生成を通じて、芸術的・空間的・知覚的境界を曇らせるインタラクティブなウェブベースのインスタレーションを構築し、2023年ヘルシンキ・アート・バイエンナーレ向けに画期的なデジタル文化参加形態を提供する。

ABSTRACT

Art curatorial practice is characterized by the presentation of an art collection in a knowledgeable way. Machine processes are characterized by their capacity to manage and analyze large amounts of data. This paper envisages AI curation and audience interaction to explore the implications of contemporary machine learning models for the curatorial world. This project was developed for the occasion of the 2023 Helsinki Art Biennial, entitled New Directions May Emerge. We use the Helsinki Art Museum (HAM) collection to re-imagine the city of Helsinki through the lens of machine perception. We use visual-textual models to place indoor artworks in public spaces, assigning fictional coordinates based on similarity scores. We transform the space that each artwork inhabits in the city by generating synthetic 360 art panoramas. We guide the generation estimating depth values from 360 panoramas at each artwork location, and machine-generated prompts of the artworks. The result of this project is an AI curation that places the artworks in their imagined physical space, blurring the lines of artwork, context, and machine perception. The work is virtually presented as a web-based installation on this link http://newlyformedcity.net/, where users can navigate an alternative version of the city while exploring and interacting with its cultural heritage at scale.

研究の動機と目的

• 博物館収蔵品を想像上の都市環境に統合することで、生成的AIがキュレーティブ実践をどのように再定義できるかを調査すること。
• 機械の知覚が、芸術作品とその文脈、公共空間との関係をどのように再解釈できるかを検討すること。
• 文化的遺産をAI生成された空間再構築を通じて大規模に大衆が参加可能な、スケーラブルでインタラクティブなウェブベースのインスタレーションを開発すること。
• 合成された空間化とプロンプト工学が、芸術的知覚と都市的想像をどのように形作るかを検証すること。

提案手法

• ヘルシンキ美術館の屋内作品を、意味的および視覚的類似度スコアに基づいて公共空間にマッチングするため、事前学習済みの視覚的・言語的モデルを活用する。
• 作品の埋め込み表現と都市風景の埋め込み表現の類似度を計算することで、作品に架空の地理座標を割り当てる。
• 深度推定とテキストプロンプトを条件として、拡散モデルを用いて作品の想像上の都市位置における合成360°パノラマを生成する。
• 生成されたパノラマから深度値を推定し、合成された都市環境の空間的整合性と現実性を向上させる。
• 作品の埋め込み表現から導出されたマシン生成プロンプトを用いて、文脈的に整合性のある仮想シーンを生成するための拡散モデルを誘導する。
• 最終出力を、一般公開用URLからアクセス可能なインタラクティブなウェブベースのインスタレーションとしてデプロイし、再考された都市の仮想ナビゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 生成的AIモデルは、どのようにフィクションの都市環境に博物館の作品を再文脈化できるか？
• RQ2 視覚的・言語的類似度は、公共空間における作品の妥当な配置を決定する上で、どの程度の役割を果たすか？
• RQ3 AI生成深度とパノラマレンダリングは、どの程度の説得力があり、没入感のある仮想都市体験を創出できるか？
• RQ4 一般大衆がAIキュレートされた仮想空間と対話することで、文化的遺産や空間的意味の認識にどのような影響が生じるか？
• RQ5 合成データと機械の知覚を用いて都市的文化景観を再構築するにあたり、どのような倫理的・キュレーティブな含意が生じるか？

主な発見

• AIキュレーティングシステムは、意味的および視覚的類似度に基づいて、フィクションの都市的状況に芸術作品を統合した一貫性があり、視覚的に説得力のある360°パノラマを成功裏に生成した。
• 生成されたパノラマからの深度推定により、合成された都市再構築における空間的一致性と現実性が向上した。
• ウェブベースのインスタレーションにより、再考されたヘルシンキをスケーラブルかつインタラクティブに探索可能となり、ユーザーが動的なAIキュレート都市をナビゲートできるようになった。
• 本研究では、人為的介入なしに機械の知覚が、文化的に意味のある芸術作品の空間的配置を生成できることを示した。
• 本システムは、CVPR 2023 EC3Vワークショップでベストペーパー賞を受賞し、AI駆動型文化キュレーティングにおける革新的なアプローチの妥当性が裏付けられた。