[논문 리뷰] NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view Reconstruction

Yiming Wang, Qin Han외 4명|arXiv (Cornell University)|2022. 12. 10.

Advanced Vision and Imaging인용 수 8

한 줄 요약

NeuS2는 기존 방법 대비 신경 암시 표면 재구성 속도를 100배 빠르게 하여 정적 장면의 경우 수분 이내로 학습을 완료하고, 동적 시퀀스의 경우 프레임당 약 20초 내외로 학습을 수행한다. 다중 해상도 해시 인코딩과 새로운 효율적인 이阶 도함수 계산 및 점진적 학습 전략을 사용하여 안정적인 수렴과 함께 고정밀 재구성을 가능하게 한다.

ABSTRACT

Recent methods for neural surface representation and rendering, for example NeuS, have demonstrated the remarkably high-quality reconstruction of static scenes. However, the training of NeuS takes an extremely long time (8 hours), which makes it almost impossible to apply them to dynamic scenes with thousands of frames. We propose a fast neural surface reconstruction approach, called NeuS2, which achieves two orders of magnitude improvement in terms of acceleration without compromising reconstruction quality. To accelerate the training process, we parameterize a neural surface representation by multi-resolution hash encodings and present a novel lightweight calculation of second-order derivatives tailored to our networks to leverage CUDA parallelism, achieving a factor two speed up. To further stabilize and expedite training, a progressive learning strategy is proposed to optimize multi-resolution hash encodings from coarse to fine. We extend our method for fast training of dynamic scenes, with a proposed incremental training strategy and a novel global transformation prediction component, which allow our method to handle challenging long sequences with large movements and deformations. Our experiments on various datasets demonstrate that NeuS2 significantly outperforms the state-of-the-arts in both surface reconstruction accuracy and training speed for both static and dynamic scenes. The code is available at our website: https://vcai.mpi-inf.mpg.de/projects/NeuS2/ .

연구 동기 및 목표

• NeuS와 같은 최신 신경 암시 표면 방법이 정적 및 동적 장면 재구성에 있어 금방이 되는 장시간 학습(예: 약 8시간) 문제를 해결한다.
• 매 프레임의 학습 시간을 극적으로 단축시켜 수천 프레임에 이르는 동적 장면에 대해 신경 암시 표면의 실용적 적용을 가능하게 한다.
• ReLU 기반의 MLP에 특화된 메모리 효율적인 이阶 도함수 계산 방법을 개발하여 GPU에서의 역전파를 가속화한다.
• 다중 해상도 해시 인코딩을 거쳐 군집에서 세밀한 해상도로 점진적으로 개선하는 학습 전략을 통해 학습 수렴의 안정성과 속도를 향상시킨다.
• 전역 변환 예측을 통한 점진적 학습 기반으로 장시간의 큰 이동이나 변형이 발생하는 동적 시퀀스에까지 확장한다.

제안 방법

• 학습 가능한 특징 벡터를 갖는 다중 해상도 해시 인코딩을 사용해 암시 표면 표현에 빠르고 미분 가능한 접근을 가능하게 하여 신경 SDF를 매개변수화한다.
• ReLU 기반의 MLP에서 이阶 도함수를 위한 닫힌 형태의 경량 공식을 유도하여 메모리 소비가 극도로 적은 최적화된 CUDA 커널 구현을 가능하게 한다.
• 시작 단계에서 거친 해상도부터 세밀한 해상도로 점진적으로 해시 인코딩 특징을 초기화하고 개선하는 점진적 학습 전략을 구현하여 최적화의 안정성과 수렴 속도를 향상시킨다.
• 이전 프레임의 기하학적 구조와 외관을 사전 정보로 사용하여 프레임을 순차적으로 정밀하게 조정하는 동적 장면을 위한 점진적 학습 프레임워크를 제안한다.
• 연속된 프레임 간의 오차 누적을 줄이기 위해 학습 이전에 전역 변환 예측 모듈을 도입하여, 가림되거나 극도로 변형된 영역에서도 안정성을 확보한다.
• SDF 기반 표면 제약 조건을 갖는 미분 가능한 볼륨 렌더링을 활용하여 기하학적 정확성과 사실적인 신시각 합성 결과를 보장한다.

실험 결과

연구 질문

• RQ1 현대 GPU에서 실시간 학습 가속을 가능하게 하기 위해 신경 SDF의 이阶 도함수를 효율적이고 정확하게 계산할 수 있는가?
• RQ2 거친 해상도에서 세밀한 해상도로 점차 다중 해상도 해시 인코딩을 개선하는 점진적 학습 전략이 수렴성과 재구성 품질을 크게 향상시키는가?
• RQ3 전역 변환 예측과 함께 점진적 학습을 통해 큰 프레임 간 이동이 발생하는 장시간의 동적 시퀀스 학습이 안정적이고 빠르게 이루어지는가?
• RQ4 정적 및 동적 장면 모두에서 재구성 정확도와 학습 속도 측면에서 제안된 방법이 최신 기술 대비 어떻게 비교되는가?
• RQ5 효율적인 이阶 도함수 계산 방법이 다양한 네트워크 아키텍처와 데이터셋에 대해 얼마나 일반화되는가?

주요 결과

• NeuS2는 원본 NeuS 대비 100배 빠른 속도를 기록하여, DTU 데이터셋에서 정적 장면 재구성에 6분 이내로 완료했으며, PSNR는 28.82를 기록했다.
• 제안된 이阶 도함수 계산 방법은 PyTorch의 autograd 대비 30% 빠르게 작동하고, 유한 차분 기반 기준 대비 25% 더 빠르며, PSNR는 35.5로 기존 33.4보다 향상되었다.
• 점진적 학습 전략을 통해 DTU 데이터셋에서 평균 카프먼 거리(CD)를 1.48에서 0.70으로 감소시켜 재구성 정확도 향상와 학습 시간을 5분으로 단축시켰다.
• 전역 변환 예측과 점진적 학습을 모두 포함한 전체 모델은 PSNR 28.18, LPIPS 0.0474를 기록하여, 둘 다 제거된 아블레이션 모델보다 기하학적 구조와 외관 측면에서 뛰어난 성능을 보였다.
• 동적 장면의 경우 NeuS2는 각 프레임을 약 20초 내로 재구성하여 20,000프레임에 이르는 시퀀스에서도 안정적이고 세밀한 결과를 제공한다.
• 아블레이션 연구 결과, 전역 변환 예측과 점진적 학습이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 국소 최소값에 갇혀 노이즈가 많은 표면과 흐릿한 렌더링 결과가 발생한다.