[논문 리뷰] Coding the Visual World: From Image to Simulation Using Vision Language Models

Sagi Eppel|arXiv (Cornell University)|2026. 01. 08.

Language and cultural evolution인용 수 0

한 줄 요약

이 논문은 Vision Language Models를 사용해 실제 이미지의 묘사를 수행하고, 묘사된 시스템을 시뮬레이션하는 코드를 생성한 다음 합성 이미지와 원본을 비교하는 방법을 조사하여 높은 수준의 이해를 보이지만 미세한 세부 재현에는 한계가 있음을 밝힌다.

ABSTRACT

The ability to construct mental models of the world is a central aspect of understanding. Similarly, visual understanding can be viewed as the ability to construct a representative model of the system depicted in an image. This work explores the capacity of Vision Language Models (VLMs) to recognize and simulate the systems and mechanisms depicted in images using the Im2Sim methodology. The VLM is given a natural image of a real-world system (e.g., cities, clouds, vegetation) and is tasked with describing the system and writing code that simulates and generates it. This generative code is then executed to produce a synthetic image, which is compared against the original. This approach is tested on various complex emergent systems, ranging from physical systems (waves, lights, clouds) to vegetation, cities, materials, and geological formations. Through analysis of the models and images generated by the VLMs, we examine their understanding of the systems in images. The results show that leading VLMs (GPT, Gemini) have the ability to understand and model complex, multi-component systems across multiple layers of abstraction and a wide range of domains. At the same time, the VLMs exhibit limited ability to replicate fine details and low-level arrangements of patterns in the image. These findings reveal an interesting asymmetry: VLMs combine high-level, deep visual understanding of images with limited perception of fine details.

연구 동기 및 목표

• 동기: VLM이 이미지에 묘사된 복잡한 시스템의 '정신적 모델'을 어떻게 구축할 수 있는지 이해하기 위함.
• 목표: 이미지 속 시스템을 묘사하고 묘사된 현상을 재현하는 실행 가능한 시뮬레이션 코드를 생성하는 것.
• 목적: 물리적 시스템에서 생태계 시스템에 이르기까지 다양한 영역에서 VLM의 이해 정도를 평가하는 것.

제안 방법

• 시스템을 나타내는 실제 세계 이미지(예: 파도, 구름, 식생, 도시)에 Im2Sim 방법론을 적용한다.
• VLM이 시스템을 묘사하고 이를 시뮬레이션하고 생성하는 코드를 작성하도록 한다.
• 생성된 코드를 실행해 원본 이미지와 비교하기 위한 합성 이미지를 생성한다.
• 출력을 분석해 VLM의 다층 추상화 능력과 도메인 범위를 평가한다.
• 고수준 모델링 성능과 저수준의 미세한 이미지 패턴 재현도의 충실도를 비교한다.

실험 결과

연구 질문

• RQ1 Vision Language Models가 이미지에 묘사된 복잡한 시스템을 정확하게 묘사하고 실행 가능한 시뮬레이션 코드를 생성할 수 있는가?
• RQ2 생성된 시뮬레이션이 물리, 식생, 도시, 지질 등 다양한 영역에서 원본 이미지의 큰 구조와 출현 속성을 얼마나 재현할 수 있는가?
• RQ3 VLM들이 고수준 이해와 세부 미세 재현 사이에 비대칭을 보이는가?

주요 결과

• 선두 VLM들(예: GPT, Gemini)은 다층 추상화에 걸쳐 복잡하고 다구성 시스템을 이해하고 모델링하는 능력을 보인다.
• VLM은 물리에서 식생 및 도시 시스템에 이르는 넓은 도메인 적용 가능성을 보여준다.
• VLM은 이미지의 미세한 디테일과 저수준 배열 패턴 재현에 한정된 능력을 보인다.
• 연구는 비대칭을 식별한다: 강한 고수준 이해에 비해 낮은 수준의 세부 인지력이 약하다는 점.