[論文レビュー] Thinking Like Van Gogh: Structure-Aware Style Transfer via Flow-Guided 3D Gaussian Splatting

Zhendong Wang, Lebin Zhou+4 more|arXiv (Cornell University)|Jan 15, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

この論文は、Van Gogh の2D絵画風の流れを追従するように幾何を変形させる流れ guided のメッシュフリー3D Gaussian Splatting 法を提案し、輝度と構造を分離して真のポスト印象派風スタイライズを実現。VLM 判断とユーザ研究で評価。

ABSTRACT

In 1888, Vincent van Gogh wrote, "I am seeking exaggeration in the essential." This principle, amplifying structural form while suppressing photographic detail, lies at the core of Post-Impressionist art. However, most existing 3D style transfer methods invert this philosophy, treating geometry as a rigid substrate for surface-level texture projection. To authentically reproduce Post-Impressionist stylization, geometric abstraction must be embraced as the primary vehicle of expression. We propose a flow-guided geometric advection framework for 3D Gaussian Splatting (3DGS) that operationalizes this principle in a mesh-free setting. Our method extracts directional flow fields from 2D paintings and back-propagates them into 3D space, rectifying Gaussian primitives to form flow-aligned brushstrokes that conform to scene topology without relying on explicit mesh priors. This enables expressive structural deformation driven directly by painterly motion rather than photometric constraints. Our contributions are threefold: (1) a projection-based, mesh-free flow guidance mechanism that transfers 2D artistic motion into 3D Gaussian geometry; (2) a luminance-structure decoupling strategy that isolates geometric deformation from color optimization, mitigating artifacts during aggressive structural abstraction; and (3) a VLM-as-a-Judge evaluation framework that assesses artistic authenticity through aesthetic judgment instead of conventional pixel-level metrics, explicitly addressing the subjective nature of artistic stylization.

研究の動機と目的

• Van Gogh の essential の誇張原理に触発された 3D スタイル転送の主要手段として幾何抽象を採用する。
• 2D の絵画的流れを逆伝播して3D Gaussian プリミティブに流れに沿ったブラシストロークを形成するメッシュフリーの流れ誘導フレームワークを開発する。
• 輝度ベースの幾何と色の最適化を分離し、激しい構造変形を安定化させる。
• VLM を判定者として用い、ピクセルレベルの指標を超えた芸術的真偽性を評価する評価フレームワークを提案する。

提案手法

• 2D 筆致の流れを3D Gaussian プリミティブへ逆伝播する流れ guided の幾何移動。
• 構造テンソル解析を用いてGaussian の主軸を2Dストローク方向に整列させる projection-based のメッシュフリー流れ誘導。
• 毀 drift を防ぐ接線制約を持つ微分可能レンダリングを通じたGaussian の位置と回転の勾配駆動移動。
• スタイル損失を輝度チャネルに限定し、Lab 色空間の色差統計で色を安定化させる輝度–構造分離。
• 複数の大規模多模モデルを用いた芸術的真偽性を評価する VLM-as-a-Judge 評価プロトコル。

実験結果

リサーチクエスチョン

• RQ1 paintings から抽出した 2D 絵画風の流れが3D Gaussian splat による変形を導き、 authentic な幾何的筆致を生み出せるか。
• RQ2 輝度-構造分離戦略は攻撃的な幾何抽象化を安定化させつつ色の一貫性を保てるか。
• RQ3 メッシュフリー、投影誘導の移動フレームワークはテクスチャ中心の3D スタイル転送ベースラインと比較して、知覚的な画風リアリズムの点でどの程度優れるか。
• RQ4 大規模多模モデルはピクセルレベルの指標を超えて、3D スタイル転送の芸術的真偽性を信頼性高く判断できるか。

主な発見

Criterion	Win Rate	Baseline	Ours
Flow Alignment	85.00%	7.13	8.38
Materiality	85.83%	7.13	8.20
Aesthetics	85.83%	7.31	8.50
Average	85.83%	7.19	8.36

• 提案手法は流れに沿った成分性のブラシストロークを生み出し、シーンのトポロジに適合する。テクスチャマッピングベースのベースラインを定性的評価で上回る。
• VLM パネルの結果は、幾何と美学の点で本手法が高い勝率を示す（例：基準ごとに平均勝率は約85％程度）。
• アブレーション研究は、安定的で整合的なスタイラization のために幾何移動、輝度-構造分離、および適応的密度化の必要性を確認した。
• 標準的な知覚指標（ArtFID）は幾何抽象化に対して高変動と限定的な識別力を示し、意味的評価の必要性を示唆する。
• ユーザ研究では、構造的流れとマテリアリティに関して本手法を好む参加者が多数を占めた。