[논문 리뷰] TöRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis

Benjamin Attal, Eliot Laidlaw외 5명|ArXiv.org|2021. 09. 30.

Advanced Vision and Imaging참고 문헌 50인용 수 10

한 줄 요약

TöRF는 RGB와 원시적인 시간 간격(ToF) 페이저 데이터를 동시에 최적화하는 신경 레이디언스 필드 표현을 도입하여 동적 장면의 시각 합성 성능을 향상시킨다. 유도된 깊이 맵이 아닌 연속파 ToF 센서 측정값을 직접 모델링함으로써, 낮은 반사율, 다중 경로 간섭, 큰 운동과 같은 도전적인 조건에서도 더 견고한 재구성 성능을 달성하며, 정성적 및 정량적 평가에서 NeRF 및 동적 장면 기준선보다 뛰어나다.

ABSTRACT

Neural networks can represent and accurately reconstruct radiance fields for static 3D scenes (e.g., NeRF). Several works extend these to dynamic scenes captured with monocular video, with promising performance. However, the monocular setting is known to be an under-constrained problem, and so methods rely on data-driven priors for reconstructing dynamic content. We replace these priors with measurements from a time-of-flight (ToF) camera, and introduce a neural representation based on an image formation model for continuous-wave ToF cameras. Instead of working with processed depth maps, we model the raw ToF sensor measurements to improve reconstruction quality and avoid issues with low reflectance regions, multi-path interference, and a sensor's limited unambiguous depth range. We show that this approach improves robustness of dynamic scene reconstruction to erroneous calibration and large motions, and discuss the benefits and limitations of integrating RGB+ToF sensors that are now available on modern smartphones.

연구 동기 및 목표

• 단일 시점 동적 신시각 합성 문제의 불안정성을 물리적 센서 측정값을 통합하여 해결하기 위해.
• 낮은 반사율 영역, 다중 경로 간섭 영역, 큰 운동 시나리오에서 재구성의 견고성을 향상시키기 위해.
• 원시적인 ToF 페이저 데이터를 사용하는 것이 처리된 깊이 맵을 사용하는 것보다 더 뛰어난 시각 합성 성능을 제공함을 입증하기 위해.
• RGB+ToF 센서 융합을 통해 더 적은 입력 시점으로도 더 정확하고 안정적인 동적 장면 재구성을 가능하게 하기 위해.
• 최신 스마트폰 호환 RGB+ToF 센서를 신경 레이디언스 필드 프레임워크에 통합하는 방법을 탐색하기 위해.

제안 방법

• 물리 기반의 신경 볼륨 렌더링 모델을 제안하여 RGB 및 연속파 ToF 페이저 측정값을 동시에 최적화한다.
• 원시적인 ToF 센서 반응을 페이저 표현 방식으로 모델링하여 조절된 빛의 위상과 진폭을 인코딩함으로써, 모호하지 않은 깊이 범위를 초월한 정보를 유지한다.
• 렌더링 과정에서 RGB 및 페이저 이미지 양측의 광학 오차를 동시에 최소화함으로써, 장면 기하학 및 외관에 대한 엔드 투 엔드 학습을 가능하게 한다.
• 학습된 암묵적 레이디언스 필드에서 색상과 페이저 신호를 렌더링하기 위해 가분성 있는 레이 마이징 절차를 사용한다.
• 고정밀도로 동적 장면를 효율적으로 표현하기 위해 다중 스케일, 다중 해상도 네트워크 아키텍처를 활용한다.
• 휴대기기에서 촬영한 RGB+ToF 시퀀스를 엔드 투 엔드로 훈련함으로써, 적은 수의 시점으로도 재구성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 유도된 깊이 맵에 비해 원시적인 시간 간격 페이저 측정값이 동적 장면 시각 합성 성능을 향상시키는가?
• RQ2 물리적 ToF 센서 데이터를 통합함으로써 낮은 반사율, 다중 경로 간섭, 큰 운동에 대한 견고성이 어떻게 향상되는가?
• RQ3 RGB와 ToF 데이터를 동시에 최적화함으로써 고품질의 새로운 시점 합성에 필요한 입력 시점의 수를 얼마나 줄일 수 있는가?
• RQ4 어려운 조건에서 TöRF는 NeRF 및 기존의 동적 장면 기준선에 비해 어떤 성능을 보이는가?
• RQ5 최신 스마트폰에 통합된 RGB+ToF 센서를 신경 장면 재구성에 사용할 때 실용적인 이점과 제약은 무엇인가?

주요 결과

• TöRF는 복잡한 기하학적 구조와 동적 운동이 있는 영역에서 특히 우수한 성능을 보이며, 적은 수의 시점으로도 정적 장면에서 NeRF보다 뛰어난 새로운 시점 합성 품질을 달성한다.
• 두 개의 최신 동적 장면 기준선 [52, 26]에 비해 정량적 지표와 시각적 품질 양면에서 뚜렷한 성능 향상을 보이며, 특히 어두운 영역이나 낮은 반사율 영역 처리에서 뛰어난 성능을 보인다.
• 처리된 깊이 맵이 아닌 원시적인 ToF 페이저 데이터를 사용할 경우, 다중 경로 간섭 영역 및 모호하지 않은 깊이 범위를 초월한 영역에서 더 정확한 재구성이 가능하다.
• TöRF는 카메라 캘리브레이션 오차와 큰 운동에 대해 더 견고한 성능을 보이며, 이는 일반적으로 단일 시점 동적 NVS 성능을 저하시키는 요소들이다.
• 더 적은 입력 시점으로도 고해상도 재구성을 가능하게 하여, 동적 장면 촬영에 필요한 데이터 수집 부담을 줄였다.
• 개선된 성능에도 불구하고, 매우 어두운 동적 객체(예: 머리카락)를 경사진 각도에서 재구성하는 데에는 여전히 도전 과제가 남아 있어, 현재 신경망의 능력이 극단적인 운동과 반사율에 한계를 가짐을 시사한다.