[논문 리뷰] Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

Tao Lu, Mulin Yu외 5명|arXiv (Cornell University)|2023. 11. 30.

Advanced Vision and Imaging인용 수 4

한 줄 요약

Scaffold-GS는 SfM에서 유도된 잠금점들을 활용해 구조적인 3D 가우시안 표현을 도입하여, 시야 방향과 거리에 따라 가우시안 속성(색상, 투명도, 스케일, 회전)을 뷰 적응형으로 실시간으로 예측합니다. 이는 중복을 줄이고, 뷰 변화나 무문자 영역에 대한 강건성을 향상시키며, 3D-GS 대비 저장소를 크게 줄였음에도 불구하고 약 100 FPS의 SOTA 렌더링 품질을 달성합니다.

ABSTRACT

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.

연구 동기 및 목표

• 3D 가우시안 스플래터링(3D-GS)의 중복성과 뷰 비효율성 문제를 해결하기 위해, 학습 뷰에 과적합되고 큰 뷰 변화에 취약한 점을 개선합니다.
• 3D-GS가 어려움을 겪는 무문자, 반사성, 또는 복잡한 실내/실외 환경에서의 장면 커버리지와 렌더링 강건성을 향상시키기 위해 노력합니다.
• 고정밀도 실시간 렌더링을 유지하면서 모델 저장소와 계산 오버헤드를 줄입니다.
• 잠금점 특징과 시야 위치에 조건화된 뷰 의존성 MLP를 사용하여, 실시간으로 가우시안 속성을 예측하는 효율적인 방법을 제공합니다.
• 모델 중복을 증가시키지 않으면서도 장면 커버리지를 향상시키는 신뢰할 수 있는 잠금점 성장 및 정리 전략을 개발합니다.

제안 방법

• SfM 점군에서 유도된 희박한 바이얼러스 격자 형태의 잠금점들을 초기화하여 국소 3D 가우시안 분포의 구조적 기반을 제공합니다.
• 각 잠금점은 뷰 프루스텀 내 시야 방향과 거리를 기반으로 뷰 의존성 MLP를 통해 가우시안 속성(색상, 투명도, 스케일, 회전)을 동적으로 예측합니다.
• 렌더링 중에 예측된 투명도 기반으로 학습 가능한 선택기(Selector)를 사용해 비어 있거나 의미 없는 영역을 제거하고 래스터라이제이션을 수행합니다.
• 이중 계층 구조를 형성합니다: 격자상의 희박한 잠금점들과 각 잠금점에서 생성되는 신경 가우시안 집합으로, 영역 인식형 및 뷰 적응형 표현을 가능하게 합니다.
• 예측된 가우시안 중요도에 기반해, 커버리지가 낮은 영역에 새로운 잠금점을 추가하는 성장과 중요도가 낮은 잠금점을 제거하는 정리 전략을 통해 잠금점을 개선합니다.
• 렌더링 시 시야 프루스텀 내 잠금점들만을 대상으로 하여 투명도 기반 필터링을 적용함으로써 렌더링 속도를 높이고 정밀도 손실를 최소화합니다.

실험 결과

연구 질문

• RQ1 무문자 영역이나 고도의 반사성 영역과 같은 도전적인 환경에서, 구조적 잠금점 기반 3D 가우시안 표현이 시야 적응형 렌더링의 강건성을 향상시킬 수 있는가?
• RQ2 고정된 3D-GS 대비 실시간 뷰 의존성 예측이 가우시안 속성 예측을 통해 중복성과 저장소 오버헤드를 줄일 수 있는가?
• RQ3 동적 잠금점 개선 전략(성장 및 정리)이 모델 크기를 증가시키지 않으면서도 장면 커버리지와 정밀도를 향상시킬 수 있는가?
• RQ4 모델 크기를 크게 줄였음에도 불구하고, 약 100 FPS의 고속 렌더링과 함께 SOTA 수준의 PSNR 점수를 유지할 수 있는가?
• RQ5 초기 SfM 점군의 품질이 성능에 미치는 영향은 어느 정도이며, 틈새 초기화 상황에서 프레임워크가 이를 보완할 수 있는가?

주요 결과

• Scaffold-GS는 블렌더 플레이룸 데이터셋에서 PSNR 30.62를 기록했으며, 드. 존슨 데이터셋에선 29.80를 달성하여 3D-GS 성능을 맞추거나 초월했고, 저장소는 각각 63MB와 68MB로 크게 감소시켰습니다.
• 플레이룸 데이터셋에서 전체 필터링을 적용한 경우 렌더링 속도가 150 FPS에 도달했으며, 필터링 없이선 84 FPS였기에, 투명도 기반 필터링의 효과를 입증했습니다.
• 3D-GS가 일반적으로 실패하는 투명성, 반사성, 무문자 표면 등 다양한 도전적인 조건에서도 높은 정밀도를 유지합니다.
• 잠금점 성장 작업은 세밀한 디테일과 무문자 영역 복구에 핵심적이며, 정리 전략은 저장소 증가를 통제하고 효율성을 향상시킵니다.
• 신경 가우시안 활성화에 대한 k값을 다양하게 설정한 실험에서 수렴하는 안정적인 가우시안 수를 확보하여, 하이퍼파라미터 설정에 대한 강건성을 입증했습니다.
• 필터링 전략은 PSNR에 미미한 영향을 미치지만 렌더링 속도 향상에 큰 기여를 하며, 전체 필터링을 적용한 경우 1K 해상도에서 150 FPS를 달성했습니다.