[논문 리뷰] Thinking Like Van Gogh: Structure-Aware Style Transfer via Flow-Guided 3D Gaussian Splatting

Zhendong Wang, Lebin Zhou외 4명|arXiv (Cornell University)|2026. 01. 15.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

본 논문은 Flow-guided, mesh-free 3D Gaussian Splatting 방법을 도입하여 기하를 Van Gogh의 2D 페인팅 흐름을 따라 왜곡시키고, 명암(luminance)을 구조로부터 분리하여 진정한 Post-Impressionist 스타일링을 달성하며, 평가 방식으로 VLM 판단과 사용자 연구를 활용한다.

ABSTRACT

In 1888, Vincent van Gogh wrote, "I am seeking exaggeration in the essential." This principle, amplifying structural form while suppressing photographic detail, lies at the core of Post-Impressionist art. However, most existing 3D style transfer methods invert this philosophy, treating geometry as a rigid substrate for surface-level texture projection. To authentically reproduce Post-Impressionist stylization, geometric abstraction must be embraced as the primary vehicle of expression. We propose a flow-guided geometric advection framework for 3D Gaussian Splatting (3DGS) that operationalizes this principle in a mesh-free setting. Our method extracts directional flow fields from 2D paintings and back-propagates them into 3D space, rectifying Gaussian primitives to form flow-aligned brushstrokes that conform to scene topology without relying on explicit mesh priors. This enables expressive structural deformation driven directly by painterly motion rather than photometric constraints. Our contributions are threefold: (1) a projection-based, mesh-free flow guidance mechanism that transfers 2D artistic motion into 3D Gaussian geometry; (2) a luminance-structure decoupling strategy that isolates geometric deformation from color optimization, mitigating artifacts during aggressive structural abstraction; and (3) a VLM-as-a-Judge evaluation framework that assesses artistic authenticity through aesthetic judgment instead of conventional pixel-level metrics, explicitly addressing the subjective nature of artistic stylization.

연구 동기 및 목표

• Van Gogh의 본질적 과장 원칙에서 영감을 받아 3D 스타일 전송의 주된 수단으로 기하학적 추상화를 수용한다.
• 메시 프리(flow 가이드) 프레임워크를 개발하여 2D 페인터리 흐름을 3D 가우시안 원시로 역전파하고 흐름 정렬 붓질을 형성한다.
• 명암 기반 기하를 색상 최적화에서 분리하여 과도한 구조 변형을 안정화한다.
• 픽셀 차원의 메트릭을 넘어 예술적 진정성을 평가하는 VLM-애즈-어-저지 평가 프레임워크를 제안한다.

제안 방법

• 2D 브러시스트로크 흐름을 3D 가우시안 원시로 역전파하는 흐름 guided 기하학적 advecting.
• 2D 스트로크 방향과 구조 텐서 분석을 사용하여 Gaussian 주 축을 정렬하는 Projection-based, Mesh-free 흐름 안내.
• 드리프트를 방지하는 접선 제약이 있는 차분 렌더링을 통한 가우시안 위치와 회전의 gradient-driven advection.
• 스타일 손실을 명암 채널에만 제한하고 Lab-공간 크로마틱 통계로 색상을 안정화하여 명암-구조 분리 구현.
• 다수의 대형 멀티모달 모델을 활용한 예술적 진정성 평가를 위한 VLM-애즈-어-저지 평가 프로토콜.

실험 결과

연구 질문

• RQ1 paintings에서 추출된 2D 페인터리 흐름이 3D 가우시안 스플랫의 변형을 안내하여 진정한 기하학적 붓터치를 생성할 수 있는가?
• RQ2 명암-구조 분리 전략이 색상 무결성을 보존하면서 과도한 기하학적 추상을 안정화하는가?
• RQ3 mesh-free, projection-induced advection 프레임워크가 질감 중심의 3D 스타일 전송 베이스라인에 비해 지각적 페인팅 리얼리즘 면에서 어떻게 성능을 나타내는가?
• RQ4 대형 멀티모달 모델이 픽셀 수준 지표를 넘어 3D 스타일 전개의 예술적 진정성을 신뢰성 있게 판단할 수 있는가?

주요 결과

• 제안된 방법은 흐름 정렬된 구성적 붓터치를 생성하여 장면의 토폴로지를 감싸고, 질감 매핑 베이스라인보다 정성적 평가에서 우수한 성능을 보임.
• VLM 패널 결과에서 기하와 미학 측면에서 우리 방법이 더 높은 승률을 보임(예: 기준별 평균 승률 약 85%).
• 기하학적 advection, 명암-구조 분리, 가변 밀도화의 필요성을 확인하는 얼레이션 연구가 안정적이고 일관된 스타일리제이션에 기여.
• 표준 지각 지표(ArtFID)는 기하학적 추상화에 대해 변동성이 크고 구분력이 제한되어, 의미론적 평가의 필요성을 시사.
• 사용자 연구에서 다수의 참가자가 구조적 흐름과 재질감 측면에서 우리 방법을 선호하는 경향을 보임.