[論文レビュー] Coding the Visual World: From Image to Simulation Using Vision Language Models

Sagi Eppel|arXiv (Cornell University)|Jan 8, 2026

Language and cultural evolution被引用数 0

ひとこと要約

本論文は Vision Language Models を用いて実世界の画像を説明し、 depicted 系をシミュレートするコードを生成し、合成画像と元画像を比較する。高レベルの理解は示すが、微細なディテールの再現には限界があることを示す。

ABSTRACT

The ability to construct mental models of the world is a central aspect of understanding. Similarly, visual understanding can be viewed as the ability to construct a representative model of the system depicted in an image. This work explores the capacity of Vision Language Models (VLMs) to recognize and simulate the systems and mechanisms depicted in images using the Im2Sim methodology. The VLM is given a natural image of a real-world system (e.g., cities, clouds, vegetation) and is tasked with describing the system and writing code that simulates and generates it. This generative code is then executed to produce a synthetic image, which is compared against the original. This approach is tested on various complex emergent systems, ranging from physical systems (waves, lights, clouds) to vegetation, cities, materials, and geological formations. Through analysis of the models and images generated by the VLMs, we examine their understanding of the systems in images. The results show that leading VLMs (GPT, Gemini) have the ability to understand and model complex, multi-component systems across multiple layers of abstraction and a wide range of domains. At the same time, the VLMs exhibit limited ability to replicate fine details and low-level arrangements of patterns in the image. These findings reveal an interesting asymmetry: VLMs combine high-level, deep visual understanding of images with limited perception of fine details.

研究の動機と目的

• 動機: VLM が画像に描かれた複雑なシステムのメンタルモデルを構築できるかを理解する。
• 目的: 画像中のシステムを説明し、 depicted 現象を再現する実行可能なシミュレーションコードを生成する。
• 狙い: 物理系から生態系まで多様な領域で VLM の理解度を評価する。

提案手法

• 実世界の画像（例: 波動、雲、植物、都市）を表すシステムとして Im2Sim の方法論を適用する。
• VLM にシステムを説明させ、それをシミュレートし生成するコードを書かせる。
• 生成されたコードを実行して元画像と比較する合成画像を作成する。
• 出力を分析して VLM の多層的抽象化能力とドメインカバーを評価する。
• 高レベルのモデリング性能と低レベルの細かな画像パターンの忠実度を比較する。

実験結果

リサーチクエスチョン

• RQ1 Vision Language Models は画像に描かれた複雑なシステムを正確に説明し、実行可能なシミュレーションコードを生成できるか。
• RQ2 生成されたシミュレーションが物理、植物、都市、地質などの領域を横断して元画像の大まかな構造と創発的性質を再現する程度はどれくらいか。
• RQ3 VLM は高レベルの理解と微細なディテールの再現性の間に非対称性を示すか。

主な発見

• 主要な VLM（例: GPT、Gemini）は複数の抽象レイヤーにまたがる複雑で多成分のシステムを理解・モデリングする能力を示す。
• VLM は物理系から植物・都市系まで幅広いドメイン適用性を示す。
• VLM は画像の細部や低レベルのパターン配置を再現する能力が限定的であることを示す。
• 本研究は高レベルの理解が強く、低レベルの細部知覚が弱いという非対称性を特定する。