[논문 리뷰] MeMix: Writing Less, Remembering More for Streaming 3D Reconstruction

Jiacheng Dong, Huan Li외 4명|arXiv (Cornell University)|2026. 03. 16.

Advanced Vision and Imaging인용 수 0

한 줄 요약

MeMix는 학습 없이 바로 적용 가능한 메모리 업데이트 모듈로, 순환 상태를 메모리 패치로 분할하고 가장 잘 맞지 않는 패치를 선택적으로 업데이트하여 일정한 추론 메모리로 장기 스트리밍 3D 재구성을 향상시킵니다.

ABSTRACT

Reconstruction is a fundamental task in 3D vision and a fundamental capability for spatial intelligence. Particularly, streaming 3D reconstruction is central to real-time spatial perception, yet existing recurrent online models often suffer from progressive degradation on long sequences due to state drift and forgetting, motivating inference-time remedies. We present MeMix, a training-free, plug-and-play module that improves streaming reconstruction by recasting the recurrent state into a Memory Mixture. MeMix partitions the state into multiple independent memory patches and updates only the least-aligned memory patches while exactly preserving others. This selective update mitigates catastrophic forgetting while retaining $O(1)$ inference memory, and requires no fine-tuning or additional learnable parameters, making it directly applicable to existing recurrent reconstruction models. Across standard benchmarks (ScanNet, 7-Scenes, KITTI, etc.), under identical backbones and inference settings, MeMix reduces reconstruction completeness error by 15.3% on average (up to 40.0%) across 300--500 frame streams on 7-Scenes. The code is available at https://dongjiacheng06.github.io/MeMix/

연구 동기 및 목표

• 상태 드리프와 망각으로 인한 장기 스트리밍 3D 재구성의 저하를 동기로 삼고 이를 해결한다.
• 순환 상태 쓰기를 안정화하기 위한 학습 없는 플러그인 메모리 업데이트 메커니즘을 제안한다.
• 메모리 패치의 선택적 업데이트가 간섭을 줄이면서 추론 메모리나 학습 부담을 증가시키지 않음을 보인다.
• 표준 벤치마크에서 여러 순환 백본에 걸친 방법에 구애받지 않는 향상을 시연한다.

제안 방법

• 순환 상태를 메모리 패치의 혼합으로 표현하고 Bottom-k 라우팅 마스크를 계산하여 업데이트할 최소 정합성 패치를 식별한다.
• 선정된 메모리 패치만 업데이트하고 나머지는 보존하여 추론 메모리가 O(1)로 유지되도록 한다.
• 패치 간 유사성으로 도출된 라우팅 스코어와 후보 상태를 생성하기 위해 크로스 어텐션 기반 디코더를 사용한다.
• 전술적으로 라우팅 마스크를 테스트 타임 학습률 beta_t와 결합하여 쓰기 강도를 조절할 수 있다.
• CUT3R, TTT3R/TTSA3R, MeMix가 어떻게 연관되는지 보이는 게이트드 메모리 프레임워크 아래 업데이트 규칙을 통일한다.
• 기존 온라인 재구성 파이프라인에 삽입할 수 있는 학습 없는 플러그앤플레이 구현을 제공한다.

실험 결과

연구 질문

• RQ1 다양한 순환 백본에서 학습 없는 패치 방식의 메모리 라우팅 전략이 장기 스트리밍 3D 재구성을 안정화할 수 있는가?
• RQ2 선택적(Bottom-k) 메모리 패치 업데이트가 긴 시퀀스에서 정확도, 완전도, 정상 일관성에 미치는 영향은?
• RQ3 MeMix가 3D 재구성 작업(pose, depth, geometry)에서 짧은 시야의 성능을 보존하면서 긴 시야의 안정성을 향상시키는가?
• RQ4 MeMix가 메모리와 속도 측면에서 추론 효율성에 어떤 영향을 미치는가?

주요 결과

• MeMix는 동일한 추론 설정 하에서 다양한 백본에 대해 7-Scenes와 NRGBD 벤치마크에서 재구성 품질을 지속적으로 향상시킨다.
• 7-Scenes에서 MeMix는 재구성 완전도 오차를 평균 15.3% 감소시키며(300–500 프레임 스트림에서 최대 40.0%까지)
• MeMix은 긴 시퀀스에서 정확도, 완전도, 정상 일관성에서 이점을 보이고 포즈 추정(ATE) 및 깊이 추정 지표를 개선한다.
• 이 방법은 GPU 메모리 및 추론 지연에 거의 영향을 주지 않는 오버헤드를 유지하며 추가로 학습 가능한 매개변수나 파인튜닝이 필요하지 않다.
• MeMix는 가장 정합성이 낮은 메모리 패치를 선택적으로 업데이트하여 드리프트를 줄임으로써 기준 고정 상태 메서드를 능가한다.