[논문 리뷰] TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning

Daixian Liu, Jiayi Kuang외 9명|arXiv (Cornell University)|2026. 01. 23.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

TangramPuzzle은 Tangram Construction Expressions (TCE)을 사용하여 Outline Prediction 및 End-to-End Tangram Solution Generation 과제에서 기계가 검증 가능한 rigor한 평가를 제공하는 다중 모달 LLM의 합성적 공간 추론을 위한 기하학 기반 벤치마크를 소개합니다.

ABSTRACT

Multimodal Large Language Models (MLLMs) have achieved remarkable progress in visual recognition and semantic understanding. Nevertheless, their ability to perform precise compositional spatial reasoning remains largely unexplored. Existing benchmarks often involve relatively simple tasks and rely on semantic approximations or coarse relative positioning, while their evaluation metrics are typically limited and lack rigorous mathematical formulations. To bridge this gap, we introduce TangramPuzzle, a geometry-grounded benchmark designed to evaluate compositional spatial reasoning through the lens of the classic Tangram game. We propose the Tangram Construction Expression (TCE), a symbolic geometric framework that grounds tangram assemblies in exact, machine-verifiable coordinate specifications, to mitigate the ambiguity of visual approximation. We design two complementary tasks: Outline Prediction, which demands inferring global shapes from local components, and End-to-End Code Generation, which requires solving inverse geometric assembly problems. We conduct extensive evaluation experiments on advanced open-source and proprietary models, revealing an interesting insight: MLLMs tend to prioritize matching the target silhouette while neglecting geometric constraints, leading to distortions or deformations of the pieces.

연구 동기 및 목표

• 정확한 공간 추론을 세부적으로 평가하기 위한 MLLMs의 평가 필요성 강조.
• 타깃 좌표에 기하학적으로 정확한 구성을 ground하기 위한 형식적 기하 표현(TCE) 제공.
• 구분적 실루엣 추론(Outline Prediction)과 구성적 역조립(End-to-End Tangram Solution Generation) 두 과제 모두에서 MLLMs 평가.
• 정확한 기하학 하에서 강직성, 비중첩, 위상 제약 조건의 준수에 대한 모델의 한계 평가.

제안 방법

• 도메인 기하학 스키마를 기호적이고 LaTeX 기반의 Tangram Construction Expression (TCE)으로 도입하여 퍼즐 조각 유형, 꼭지점 좌표, 간선, 변환, 대상 윤곽을 인코딩.
• 두 가지 과제 정의: Outline Prediction(정확한 TCE 입력이 주어졌을 때 옵션들 중 올바른 실루엣을 선택)와 End-to-End Tangram Solution Generation(대상 윤곽을 정확히 채우는 완전한 TCE JSON을 출력)
• 구문, 강직성, 비중첩, 연결성을 확인하는 제약 기반 검증기를 적용하고 실루엣 충실도에 대해 IoU 및 Hausdorff 거리를 측정.
• 원시 Tangram 패턴( KiloGram)에서의 다단계 파이프라인으로 데이터 구성, 스냅핑 주석, 정확한 표현으로의 기호적 정규화, 인간 검증.
• 표준화된 프롬프트 및 API 호출로 광범위한 오픈소스 및 상용 MLLMs를 평가하고 기하 제약 충족과 시각적 충실도 간의 실패 모드를 분석합니다.

실험 결과

연구 질문

• RQ1 MLLM들이 정확한 기하학적 제약 하에서 로컬 타그램 구성 요소로부터 글로벌 도형을 정확히 추론할 수 있는가?
• RQ2 MLLM들이 주어진 목표 윤곽을 정확히 채우는 기하학 충족 타그램 어셈블리를 생성할 수 있는가?
• RQ3 모델이 기하학적 제약의 엄격함보다 실루엣 매칭을 우선하는 경향이 있는가?
• RQ4 맥락 내 예시와 텍스트 기하학 의존도가 과제 목표 성능에 어떤 영향을 미치는가?
• RQ5 기하 데이터의 시각 기반 grounding과 텍스트 기반 grounding 간의 차이는 무엇인가?

주요 결과

• MLLM들이 과제 간 실루엣 정확도와 기하학적 제약 준수에서 큰 변동성을 보인다.
• 높은 실루엣 충실도가 제약 만족을 보장하지는 않으며, 많은 모델이 시각적 품질을 개선하기 위해 조각들을 왜곡하거나 중첩을 생성한다.
• Gemini3-Pro가 강한 기하학적 추론과 높은 제약 충족, 그리고 실루엣 충실도 측면에서 독보적이다.
• 상위 모델들이 IoU나 시각적 가능성은 높게 얻더라도 기하학적으로 유효한 해를 생성하지 못하는 경우가 있다(일부 경우 0% 성공).
• 맥락 학습이 파싱된 응답의 형식적 품질을 향상시킬 수 있지만 구문 오류를 증가시켜 기하학적 이해와의 균형이 필요함을 시사한다.
• 텍스트 기반 기하학은 대부분의 모델의 grounding에 도움을 주지만 텍스트 좌표를 제거하면 성능이 저하되며, 다만 Gemini3-Pro는 여전히 강력하다.