[논문 리뷰] Space-time Neural Irradiance Fields for Free-Viewpoint Video

Wenqi Xian, Jia‐Bin Huang외 2명|arXiv (Cornell University)|2020. 11. 25.

Advanced Vision and Imaging참고 문헌 79인용 수 15

한 줄 요약

이 논문은 단일 단안 영상에서 움직임-외관 모호성을 해결하고 자유 시점 렌더링을 가능하게 하기 위해 영상 깊이 추정을 활용하여 전역적으로 일관된 동적 3D 장면 표현을 학습하는 공간-시간 신경 조명장 필드를 제안한다. 이 방법은 시간적 일관성과 세밀한 질감 보존을 갖춘 고해상도 신규 뷰 합성을 달성하며, 실제 스마트폰 영상에서 프레임별 및 기준선 신경 렌더링 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We present a method that learns a spatiotemporal neural irradiance field for dynamic scenes from a single video. Our learned representation enables free-viewpoint rendering of the input video. Our method builds upon recent advances in implicit representations. Learning a spatiotemporal irradiance field from a single video poses significant challenges because the video contains only one observation of the scene at any point in time. The 3D geometry of a scene can be legitimately represented in numerous ways since varying geometry (motion) can be explained with varying appearance and vice versa. We address this ambiguity by constraining the time-varying geometry of our dynamic scene representation using the scene depth estimated from video depth estimation methods, aggregating contents from individual frames into a single global representation. We provide an extensive quantitative evaluation and demonstrate compelling free-viewpoint rendering results.

연구 동기 및 목표

• 다중 카메라 랙이나 전용 하드웨어 없이 단일 난잡한 촬영 영상에서 자유 시점 영상 렌더링을 가능하게 하기 위해.
• 모노클 영상 깊이 추정을 기하학적 감독으로 활용하여 움직임과 외관 변화 간의 본질적 모호성을 해결하기 위해.
• 프레임별 렌더링 방법에서 흔히 발생하는 시간적 번짐과 비노출 영역 아티팩트를 방지하는 전역적으로 일관된 시공간 표현을 구축하기 위해.
• 관측되지 않은 영역에서 시간에 따라 색상과 부피 밀도를 전파시켜 렌더링 품질과 일관성을 향상시키기 위해.
• 고시각적 정밀도와 3D 깊이 인식을 갖춘 실제 스마트폰 영상에서 압도적인 자유 시점 렌더링 성능을 입증하기 위해.

제안 방법

• 이 방법은 시공간 좌표 (x, y, z, t) 를 색상과 부피 밀도로 매핑하는 연속적인 신경 암시 표현으로 장면을 학습한다.
• 프레임별 깊이 맵을 단안 영상 깊이 추정을 통해 기하학적 감독으로 활용하여 시간에 따라 변화하는 장면 기하학을 제약하고, 움직임에서 발생하는 외관 변화를 분리한다.
• 감독이 제공되지 않는 비노출 영역에서 색상과 부피 밀도를 시간에 따라 전파하기 위해 정적 장면 손실과 샘플링 전략을 도입한다.
• 색상 복원, 깊이 감독, 정적 장면 손실, 빈 공간 손실을 조합한 복합 손실을 사용하여 모델을 훈련하며, 선택적 장면 흐름 일관성 손실을 포함할 수 있다.
• 표준 부피 렌더링을 통해 암시 필드를 렌더링하여 어떤 시점과 시점에서도 고품질의 합성을 가능하게 한다.
• 이 방법은 시간 단위를 보간하거나 외삽하지 않으며, 전역 암시 표현을 사용해 관측된 시간 포인트에서만 렌더링을 수행한다.

Figure 3 : Scene sampling. We measure the Empty-space loss on 3D positions until hitting the estimated scene depth (green). We use all the samples along the ray (green and yellow) to compute the Depth and Color reconstruction loss . For Static loss , we sample the scene from the union of the space s

실험 결과

연구 질문

• RQ1 다중 시점 또는 다중 카메라 데이터 없이 단일 단안 영상로 전역적으로 일관되고 자유 시점 렌더링이 가능한 동적 장면 표현을 학습할 수 있는가?
• RQ2 각 시간 단계에서 하나의 시점만 제공될 경우, 동적 장면에서 움직임-외관 모호성을 어떻게 해결할 수 있는가?
• RQ3 영상 깊이 추정은 신경 암시 표현에서 동적 장면의 기하학적 안정성과 렌더링 일관성 향상에 어떤 역할을 하는가?
• RQ4 프레임별 워핑이나 후처리에 의존하지 않고, 새로운 뷰의 비노출 영역을 효과적으로 채울 수 있는가?
• RQ5 색상과 밀도의 시간적 전파가 자유 시점 영상 합성에서 렌더링 품질 향상과 번짐 감소에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 메쉬 기반 렌더링 및 NeRF-T와 같은 기준선 방법보다 특히 비노출 영역 처리와 시간적 일관성에서 뛰어난 자유 시점 렌더링 품질을 달성한다.
• 깊이 감독을 포함하면 모든 메트릭에서 성능 향상이 일관되게 관찰되며, 특히 비노출 영역과 복잡한 운동 장면에서 가장 큰 향상이 나타난다.
• 정적 장면 손실과 시간적 전파 전략은 장면 흐름 손실이 정량적 메트릭에서 유의미한 향상 없이도 번짐을 크게 줄이고 시각적 품질을 향상시킨다.
• Sintel 합성 데이터셋에서 전체 모델(Model-4)은 실제 영상에서 최고의 시각적 결과를 달성했으며, 일부 메트릭에서는 Model-2가 약간 더 뛰어난 정량적 성능을 보였다.
• 이 방법은 고품질이고 시간적으로 일관된 새로운 뷰를 도전적인 스마트폰 촬영 영상에서 성공적으로 렌더링하여 운동 세부 정보와 3D 질감 정밀도를 유지한다.

Figure 4 : Static scene loss. Our static scene loss addresses the regions that are not constrained by the color and depth reconstruction loss, which handles only visible surfaces in the input frames (a). We render two frames at $t_{1}=9$ and $t_{2}=90$ from the viewpoint of $t=40$ . The camera has p