[논문 리뷰] S-VGGT: Structure-Aware Subscene Decomposition for Scalable 3D Foundation Models

Xinze Li, Pengxu Chen외 3명|arXiv (Cornell University)|2026. 03. 18.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

S-VGGT는 공유 앵커 프레임을 가진 소수의 서브씬으로 입력 프레임을 분할하여 글로벌 어텐션의 제곱 비용을 줄이고, 토큰 수준 가속을 보완하면서 재구성 품질을 저하시키지 않는 병렬, 프레임 수준의 효율적인 처리를 가능하게 한다.

ABSTRACT

Feed-forward 3D foundation models face a key challenge: the quadratic computational cost introduced by global attention, which severely limits scalability as input length increases. Concurrent acceleration methods, such as token merging, operate at the token level. While they offer local savings, the required nearest-neighbor searches introduce undesirable overhead. Consequently, these techniques fail to tackle the fundamental issue of structural redundancy dominant in dense capture data. In this work, we introduce extbf{S-VGGT}, a novel approach that addresses redundancy at the structural frame level, drastically shifting the optimization focus. We first leverage the initial features to build a dense scene graph, which characterizes structural scene redundancy and guides the subsequent scene partitioning. Using this graph, we softly assign frames to a small number of subscenes, guaranteeing balanced groups and smooth geometric transitions. The core innovation lies in designing the subscenes to share a common reference frame, establishing a parallel geometric bridge that enables independent and highly efficient processing without explicit geometric alignment. This structural reorganization provides strong intrinsic acceleration by cutting the global attention cost at its source. Crucially, S-VGGT is entirely orthogonal to token-level acceleration methods, allowing the two to be seamlessly combined for compounded speedups without compromising reconstruction fidelity. Code is available at https://github.com/Powertony102/S-VGGT.

연구 동기 및 목표

• 밀집 캡처 데이터에서 피드포워드 3D 기초 모델의 제곱(global) 글로벌 어텐션 확장성 병목 문제를 동기 부여하고 해결한다.
• 초기 피처로부터 장면 그래프를 구축하여 프레임 수준의 중복 감소 전략을 개발한다.
• 공유 참조 프레임을 가진 소수의 일관된 서브씬으로 프레임을 분할하여 병렬적으로 독립적인 처리를 가능하게 한다.
• 토큰 수준 가속 방법과의 직교성을 입증하고 토큰 병합과 결합했을 때 복합적인 속도 향상을 보인다.
• 표준 3D 재구성 데이터세트에서 평가하여 긴 시퀀스에서의 속도 향상과 재구성 품질을 검증한다.

제안 방법

• 초기 프레임 피처로부터 밀도 높은 장면 그래프를 구축하여 구조적 중복을 정량화하고 서브씬 형성을 안내한다.
• 프레임당 패치 토큰 평균과 코사인 유사도를 이용해 프레임 수준 밀도 의존적 친화도을 계산하고 프레임 유사도 행렬을 얻는다.
• 일관성(L_coh), 균형(L_bal), 선명도(L_sharp)에 대한 정규화를 가진 미분 가능 소프트 할당 A를 사용하여 프레임을 K개의 서브씬으로 그룹화한다.
• 모든 서브씬에 공통의 참조 프레임을 할당하여 병렬 처리를 보장하고(Anchor Frame Sharing) 서브씬이 하나의 통일된 좌표계를 공유하도록 한다.
• 공유된 앵커 프레임으로 각 서브씬을 독립적으로 처리하여 명시적 후처리 정렬 없이도 주의(attention) 계산을 줄이고 병렬 추론을 가능하게 한다.
• 전역 어텐션 비용이 O((NT)^2)에서 O((NT)^2 / K)로 감소하고, 유사도 계산에 대한 오버헤드 O(N^2)를 표시하는 복잡도 분석을 제공하며 토큰 수준 가속 방법과의 직교성을 강조한다.

Figure 1: Comparison of VGGT (2.69 FPS) and S-VGGT (10.13 FPS) on a 500-frame scene. S-VGGT achieves a significant speedup by processing subscenes in parallel while maintaining reconstruction quality.

실험 결과

연구 질문

• RQ1 서브씬 분해를 통한 프레임 수준 중복 감소가 전체 어텐션 기준선과 비교하여 재구성 정확도를 보존하는가?
• RQ2 공유 앵커 프레임을 가진 서브씬으로 길고 밀집한 시퀀스를 분할하여 어느 정도의 속도 향상 및 메모리 절감 효과를 얻을 수 있는가?
• RQ3 앵커 프레임 공유가 서브씬 간에 효과적으로 통일된 글로벌 좌표계를 유지하고 비용이 큰 정렬 후처리를 피하게 하는가?
• RQ4 S-VGGT가 토큰 수준 가속 방법과 어떻게 상호 작용하며 토큰 병합과 결합했을 때 복합적인 속도 향상을 제공할 수 있는가?
• RQ5 다양한 3D 재구성 벤치마크(ScanNet, Neural RGB-D, 7Scenes) 및 긴 시퀀스 입력에서 이득이 일관적인가?

주요 결과

• S-VGGT는 서브씬의 병렬 처리를 통해 글로벌 어텐션 비용을 줄이고 재구성 품질을 유지하며 상당한 속도 향상을 달성한다.
• Anchor Frame Sharing은 서브씬을 단일 좌표계로 정렬하여 비용이 큰 기하학적 최적화를 피한다.
• 프레임 수준 밀도 기반의 소프트 그룹화가 입력 중복에 따라 서브씬의 수를 조정하여 밀집한 시퀀스와 다양한 시퀀스를 효율적으로 처리한다.
• 실험은 긴 시퀀스에서 카메라 포즈 추정과 더 조밀한 재구성에서 주목할 만한 개선을 보였고, S-VGGT가 VGGT* 기준선보다 우수하거나 일치하는 성능을 보였다.
• 이 방법은 토큰 수준 가속성과 직교하며 토큰 병합 기법(예: FastVGGT)과 결합될 때 복합적인 속도 향상을 제공한다.
• 긴 시퀀스(예: 1000-frame 스캔)에서 S-VGGT는 강력한 기준선과 비교해 추론 속도 측면에서 수배의 이득과 견고한 기하 정확도(ATE/ARE/RPE 지표)를 동시에 제공한다.

Figure 2: The framework of S-VGGT. The input frames are first embedded into tokens, and frame similarity is calculated to assess redundancy. Frames are then grouped into subscenes via soft assignment, ensuring parallel processing. A shared reference frame across subscenes enables efficient global an