Skip to main content
QUICK REVIEW

[논문 리뷰] GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

Yi‐Wen Chen, Zilong Chen|arXiv (Cornell University)|2023. 11. 24.
3D Shape Modeling and AnalysisEngineering인용 수 9
한 줄 요약

GaussianEditor는 Gaussian Splatting과 Gaussian semantic tracing, Hierarchical Gaussian Splatting을 활용한 빠르고 제어 가능한 3D 편집으로, 확률적 확산 가이던스 하에서 편집을 안정시키며 5–10분 내에 편집을 가능하게 한다.

ABSTRACT

3D editing plays a crucial role in many areas such as gaming and virtual reality. Traditional 3D editing methods, which rely on representations like meshes and point clouds, often fall short in realistically depicting complex scenes. On the other hand, methods based on implicit 3D representations, like Neural Radiance Field (NeRF), render complex scenes effectively but suffer from slow processing speeds and limited control over specific scene areas. In response to these challenges, our paper presents GaussianEditor, an innovative and efficient 3D editing algorithm based on Gaussian Splatting (GS), a novel 3D representation. GaussianEditor enhances precision and control in editing through our proposed Gaussian semantic tracing, which traces the editing target throughout the training process. Additionally, we propose Hierarchical Gaussian splatting (HGS) to achieve stabilized and fine results under stochastic generative guidance from 2D diffusion models. We also develop editing strategies for efficient object removal and integration, a challenging task for existing methods. Our comprehensive experiments demonstrate GaussianEditor's superior control, efficacy, and rapid performance, marking a significant advancement in 3D editing. Project Page: https://buaacyw.github.io/gaussian-editor/

연구 동기 및 목표

  • Gaussian Splatting (GS)로 표현된 복잡한 장면의 정밀하고 빠른 3D 편집을 가능하게 하는 것을 목표로 한다.
  • 훈련 전반에 걸쳐 대상 Gaussian을 추적하고 편집하기 위한 Gaussian semantic tracing을 도입한다.
  • 무작위 확산 가이던스 하에서 편집의 안정화를 위해 Hierarchical Gaussian Splatting (HGS)을 개발한다.
  • GS 내에서 객체 제거 및 추가를 위한 3D 인페인팅 방법을 제안한다.
  • 이전 3D 편집 방법들에 비해 속도와 제어 가능한 우위를 입증한다.

제안 방법

  • 특성 (x, s, q, α, c)를 가진 명시적 가우시안으로 3D 장면을 표현한다.
  • 2D 마스크를 3D 가우시안으로 언프로젝션하여 Gaussian semantic tracing을 도입하고 가우시안에 의미 라벨을 태깅한다.
  • 다중 시점 렌더링과 2D 세분화를 통해 동적 3D 시맨틱 마스크를 유지하기 위해 의미 라벨을 언프로젝션한다.
  • 안정성과 유연성을 균형 있게 유지하기 위해 밀도화 생성과 anchor loss를 갖춘 Hierarchical Gaussian Splatting (HGS)을 제안한다.
  • 세대에 걸쳐 L_anchor를 적용하여 오래된 가우시안은 제약하고 새로운 가우시안은 적응할 수 있도록 한다.
  • 2D 인페인팅과 이미지-에서-3D 재구성 및 정제를 결합하여 GS를 위한 3D 인페인팅 파이프라인을 개발하여 객체를 제거하거나 추가한다.

실험 결과

연구 질문

  • RQ1훈련 중에 Gaussian Splatting을 어떻게 정밀한 로컬 제어로 편집할 수 있는가?
  • RQ2장면 기하가 변화할 때 의미 추적이 편집을 국소화된 상태로 유지할 수 있는가?
  • RQ3무작위 확산 가이던스 하에서 Hierarchical Gaussian Splatting이 안정성과 수렴을 개선하는가?
  • RQ4GS 기반 인페인팅이 3D 장면에서 빠른 객체 제거 및 추가를 가능하게 하는가?
  • RQ5이전 3D 편집 방법과 비교한 편집 속도와 제어 가능성은 어느 정도인가?

주요 결과

  • Gaussian semantic tracing은 가우시안을 정밀하고 동적으로 타깃팅할 수 있게 하여 편집이 원하는 영역에만 영향을 주도록 한다.
  • Hierarchical Gaussian Splatting (HGS)은 확률적 가이던스에서 업데이트를 안정화하여 수렴과 디테일 유지력을 향상시킨다.
  • Gaussian Splatting용 3D 인페인팅은 객체 제거를 약 2분, 객체 추가를 약 5분으로 가능하게 한다.
  • GaussianEditor는 5–10분 편집 세션을 달성하여 일부 이전 방법 대비 현저히 빠르다.
  • 정성적·정량적 결과는 이전 방법에 비해 우수한 제어와 경쟁력 있거나 더 나은 충실도를 보이며, 특정 설정에서 더 높은 CLIP 방향 유사도를 포함한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.