[논문 리뷰] FloorplanVLM: A Vision-Language Model for Floorplan Vectorization
FloorplanVLM은 Floorplan 벡터화를 이미지 조건 시퀀스 생성으로 재구성하여 구조화된 JSON을 출력하고, 세 단계의 훈련 및 확장 가능한 데이터 엔진을 통해 엔지니어링 등급의 토폴로지적으로 유효한 평면도(비맨해튼 기하 포함)를 달성한다.
Converting raster floorplans into engineering-grade vector graphics is challenging due to complex topology and strict geometric constraints. To address this, we present FloorplanVLM, a unified framework that reformulates floorplan vectorization as an image-conditioned sequence modeling task. Unlike pixel-based methods that rely on fragile heuristics or query-based transformers that generate fragmented rooms, our model directly outputs structured JSON sequences representing the global topology. This 'pixels-to-sequence' paradigm enables the precise and holistic constraint satisfaction of complex geometries, such as slanted walls and curved arcs. To support this data-hungry approach, we introduce a scalable data engine: we construct a large-scale dataset (Floorplan-2M) and a high-fidelity subset (Floorplan-HQ-300K) to balance geometric diversity and pixel-level precision. We then employ a progressive training strategy, using Supervised Fine-Tuning (SFT) for structural grounding and quality annealing, followed by Group Relative Policy Optimization (GRPO) for strict geometric alignment. To standardize evaluation on complex layouts, we establish and open-source FPBench-2K. Evaluated on this rigorous benchmark, FloorplanVLM demonstrates exceptional structural validity, achieving $ extbf{92.52%}$ external-wall IoU and robust generalization across non-Manhattan architectures.
연구 동기 및 목표
- 픽셀 기반 방법을 넘어 엄격한 토폴로지 일관성을 강제하여 엔지니어링 등급의 평면도 벡터화를 촉진한다.
- 벽, 개구부, 룸의 JSON 표현을 출력하는 엔드 투 엔드 시퀀스 모델링 프레임워크를 제안한다.
- 훈련을 위한 기하학적 다양성과 픽셀 정렬 정밀도의 균형을 잡는 확장 가능한 데이터 엔진을 생성한다.
- 기하학적 정렬을 위한 감독 미세 조정과 강화 학습을 결합한 점진적 훈련 파이프라인을 개발한다.
- 복잡한 평면도에 대한 평가를 표준화하기 위한 오픈 벤치마크로 FPBench-2K를 확립한다.
제안 방법
- 도면 벡터화를 이미지 조건 토큰 시퀀스 생성을 통해 계층적 JSON 표현으로 형식화한다.
- 벽 골격을 먼저 정의하고 해당 벽을 참조하는 룸을 나중에 정의하는 의존성 기반 직렬화를 도입한다.
- 구조 인식 클러스터링으로 Floorplan-2M을 구축하고 픽셀 정렬 정밀도를 위한 Floorplan-HQ-300K를 만들어 SFT와 GRPO로 학습한다.
- 세 단계의 점진적 학습: 1-2단계 감독 미세 조정으로 구문적 기반과 품질 어닐링을 수행하고, 3단계 GRPO로 기하학적 정렬을 최적화한다.
- GRPO에서 유효성, 외부 기하 IoU, 내부 구조를 결합한 계층적 보상 함수로 학습을 유도한다.
- 좌표 정규화와 1,391개의 의미 토큰으로 구성된 좌표 스키마를 사용하여 시퀀스 길이를 압축하는 토큰 효율적인 JSON 스키마를 활용한다.
실험 결과
연구 질문
- RQ1FloorplanVLM이 래스터 입력으로부터 watertight하고 토폴로지적으로 유효한 평면도를 신뢰성 있게 생성할 수 있는가?
- RQ2제안된 데이터 엔진이 맨해튼 및 비맨해튼 레이아웃 전반의 학습 기하학적 다양성과 정밀도에 어떤 영향을 미치는가?
- RQ3GRPO를 통한 점진적 훈련이 표준 감독 미세 조정보다 기하학적 충실도를 향상시키는가?
- RQ4JSON 기반 표현이 복잡한 건축 토폴로지를 인코딩하는 데 대안 형식과 비교하여 효과적인가?
주요 결과
- FloorplanVLM은 FPBench-2K에서 외벽 IoU가 92.52%에 달하는 등 강한 토폴로지 충실도를 보여준다.
- 전반적으로 FloorplanVLM은 FPBench-2K에서 96.10%의 유효성, 0.9252 IoU_ext, 0.8920 IoU_room, 0.8249 F1_room, 0.7333 F1_op를 달성한다.
- 맨해튼 서브셋은 97.02%의 유효성, 0.9459 IoU_ext, 0.9089 IoU_room, 0.8385 F1_room, 0.7739 F1_op를 달성하며; 비맨해튼 서브셋은 95.10%의 유효성, 0.9027 IoU_ext, 0.8738 IoU_room, 0.8101 F1_room, 0.6894 F1_op를 달성한다.
- 세 단계의 훈련 체계(SFT 포함 GRPO)는 SFT만 사용할 때에 비해 기하학적 정렬을 크게 개선하고 토폴로지 오류를 감소시킨다.
- GRPO는 유효성과 Ext-IoU에서 유의미한 향상을 제공하며 훈련 중 비분화 가능한 기하 정렬의 중요성을 검증한다.
- 구조-first 정렬 방식의 JSON 기반 직렬화는 JSON 구문과의 사전 학습 정렬에 의해 Python DSL보다 더 우수하다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.