[논문 리뷰] Tune-Your-Style: Intensity-tunable 3D Style Transfer with Gaussian Splatting

Yian Zhao, Rushi Ye외 7명|arXiv (Cornell University)|2026. 01. 31.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

가우시안 스플래팅을 이용한 강도 조정 가능한 3D 스타일 전송을 소개하고, 가우시안 뉴런으로 스타일 강도를 모델링하며 학습 가능한 스타일 튜너를 도입하고, 다중 시점 일관성을 위한 확산-가이드 조정 가능한 스타일링을 제시한다.

ABSTRACT

3D style transfer refers to the artistic stylization of 3D assets based on reference style images. Recently, 3DGS-based stylization methods have drawn considerable attention, primarily due to their markedly enhanced training and rendering speeds. However, a vital challenge for 3D style transfer is to strike a balance between the content and the patterns and colors of the style. Although the existing methods strive to achieve relatively balanced outcomes, the fixed-output paradigm struggles to adapt to the diverse content-style balance requirements from different users. In this work, we introduce a creative intensity-tunable 3D style transfer paradigm, dubbed extbf{Tune-Your-Style}, which allows users to flexibly adjust the style intensity injected into the scene to match their desired content-style balance, thus enhancing the customizability of 3D style transfer. To achieve this goal, we first introduce Gaussian neurons to explicitly model the style intensity and parameterize a learnable style tuner to achieve intensity-tunable style injection. To facilitate the learning of tunable stylization, we further propose the tunable stylization guidance, which obtains multi-view consistent stylized views from diffusion models through cross-view style alignment, and then employs a two-stage optimization strategy to provide stable and efficient guidance by modulating the balance between full-style guidance from the stylized views and zero-style guidance from the initial rendering. Extensive experiments demonstrate that our method not only delivers visually appealing results, but also exhibits flexible customizability for 3D style transfer. Project page is available at https://zhao-yian.github.io/TuneStyle.

연구 동기 및 목표

• 사용자 제어 가능한 콘텐츠-스타일 균형을 가능하게 하여 3D 스타일 전송의 고정 출력 한계를 해결한다.
• 스타일 강도를 명시적으로 모델링하고 3D 가우시안 스플래팅된 씬에 스타일을 주입하는 조정 가능한 메커니즘을 제공한다.
• 교차 시점 스타일 정렬과 확산 기반 가이드를 통해 다중 시점 일관성을 달성한다.
• 조정 가능한 스타일링의 안정화를 도모하면서 효율성을 유지하는 두 단계 최적화 전략을 제시한다.

제안 방법

• 씬을 3D 가우시안 프리미티브로 표현하고 3D Gaussian Splatting(3DGS)을 통해 렌더링한다.
• 각 가우시안 프리미티브에 대한 스타일 강도 속성을 예측하기 위해 가우시안 뉴런을 도입한다.
• 연속 입력을 이산 임베딩으로 매핑하기 위해 계단 함수가 있는 조정 가능한 스타일 인젝터를 정의한다.
• 중복 프리미티브를 제거하고 아티팩트를 줄이기 위해 3D 가우시안 필터를 적용한다.
• 렌더링된 뷰를 스타일링하기 위해 2D 확산 모델을 사용하고 교차 뷰 정렬을 통해 3D 업데이트를 가이드한다.
• 전체 스타일 가이던스에 이은 조정 가능한 가이던스(제로 스타일 및 전체 스타일 항 포함) 두 단계 최적화를 구현한다.
• 교차 뷰 스타일 정렬은 앵커 뷰 특성을 주입하고 3D 일관성을 유지하기 위한 콘텐츠 보정을 수행한다.

Figure 1 : (a) Existing fixed-output paradigm struggles to adapt to the diverse content-style balance requirements. (b) Our intensity-tunable 3D style transfer paradigm enables users to flexibly adjust the style intensity to achieve the desired content-style balance.

실험 결과

연구 질문

• RQ1 3D 스타일 전송에서 스타일 강도를 어떻게 모델링하고 제어할 수 있는가?
• RQ2 강도 조정 가능 프레임워크가 고정 출력 방법에 비해 콘텐츠-스타일 균형을 개선하는가?
• RQ3 확산 기반 사전지식과 교차 뷰 정렬이 3D 씬에 대해 안정적이고 다중 시점 일관된 스타일링을 제공하는가?
• RQ4 두 단계 가이던스 전략이 스타일링 품질과 조정성에 미치는 영향은 무엇인가?

주요 결과

방법	근거리 일관성 (LPIPS/RMSE)	원거리 일관성 (LPIPS/RMSE)	CLIP S	CLIP S_dir	사용자 연구
StyleGaussian	0.067 / 0.070	0.126 / 0.108	0.2134	0.2223	2.79 ± 0.16
G-Style	0.044 / 0.059	0.093 / 0.096	0.2406	0.2391	3.10 ± 0.40
InstantStyleGaussian	0.053 / 0.062	0.108 / 0.113	0.2204	0.2160	2.06 ± 0.22
Ours	0.033 / 0.035	0.062 / 0.067	0.2619	0.2881	3.97 ± 0.13

• 제안된 방법은 기준치 대비 다중 시점 일관성이 우수하게 달성된다(근거리 및 원거리 LPIPS/RMSE 지표).
• CLIP 기반 스타일 충실도 지표(CLIP S 및 CLIP S_dir)가 제안 방법에서 기준보다 높다.
• 사용자 연구에서 제안 방법이 더 높은 선호도와 시각적 매력을 나타냈다.
• 강도 조정 가능성은 질적 결과 및 다중 스타일 조합에서 콘텐츠-스타일 균형을 유연하게 제어할 수 있음을 보여준다.
• 두 단계 최적화는 안정적인 스타일링과 스타일 튜너의 효과적 학습에 필수적이다.

Figure 2 : Overall framework. Our method comprise two pivotal components, namely Intensity-tunable Style Injection (ISI) and Tunable Stylization Guidance (TSG). ISI introduces Gaussian neurons to explicitly model style intensity and parameterizes a learnable style tuner, enabling users to flexibly a