[논문 리뷰] FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow

Cameron M. Smith, Yilun Du외 2명|arXiv (Cornell University)|2023. 05. 31.

Advanced Vision and Imaging인용 수 5

한 줄 요약

FlowCam는 유저가 설정하지 않은 비디오에서 3D 렌디언스 필드를 일반화 가능한 엔드 투 엔드 자기지도 학습으로 가능하게 하며, 가시화 가능한 렌더링과 SE(3) 카메라 자세 추정을 통해 2D 옵티컬 플로우를 3D 시(scene) 플로우로 변환합니다. 이는 유저가 설정하지 않은 비디오에서 지도 학습이 필요 없고, 깊이 맵이나 진짜 자세 정보 없이도 다양한 실제 환경 데이터셋에서 견고한 새로운 시점 합성과 정확한 카메라 자세 추정을 달성합니다.

ABSTRACT

Reconstruction of 3D neural fields from posed images has emerged as a promising method for self-supervised representation learning. The key challenge preventing the deployment of these 3D scene learners on large-scale video data is their dependence on precise camera poses from structure-from-motion, which is prohibitively expensive to run at scale. We propose a method that jointly reconstructs camera poses and 3D neural scene representations online and in a single forward pass. We estimate poses by first lifting frame-to-frame optical flow to 3D scene flow via differentiable rendering, preserving locality and shift-equivariance of the image processing backbone. SE(3) camera pose estimation is then performed via a weighted least-squares fit to the scene flow field. This formulation enables us to jointly supervise pose estimation and a generalizable neural scene representation via re-rendering the input video, and thus, train end-to-end and fully self-supervised on real-world video datasets. We demonstrate that our method performs robustly on diverse, real-world video, notably on sequences traditionally challenging to optimization-based pose estimation techniques.

연구 동기 및 목표

• 실제 카메라 자세 정보 없이, 정제되지 않은 비디오에서 일반화 가능한 3D 신경망 시(scene) 표현을 자기지도 학습으로 훈련시키는 것.
• 구조에서 카메라 자세 추정(SfM)의 확장성 문제를 해결하기 위해 자세 의존성을 제거하고 엔드 투 엔드 미분 가능한 최적화로 대체하는 것.
• 가시화 가능한 렌더링과 강력한 자세 피팅을 통해 단일 프로퍼그레이션에서 카메라 궤적과 3D 시(scene) 기하학을 동시에 추정하는 것.
• SLAM이 실패하는 도전적인 시퀀스를 포함한 분포 외 시나리오에 대해 카메라 자세 추정의 제로샷 일반화를 달성하는 것.
• 동적인 콘텐츠와 왜곡이 있는 실제 비디오에서 프리패스 신규 시점 합성과 카메라 자세 추정을 가능하게 하는 것.

제안 방법

• 가시화 가능한 렌더링을 통해 프레임 간 2D 옵티컬 플로우를 3D 시(scene) 플로우로 업컨버팅하여 공간적 국소성과 시프트 불변성을 유지합니다.
• 3D 시(scene) 플로우 필드에 가중치가 부여된 최소 제곱법을 적용하여 SE(3) 카메라 자세를 추정하며, 이 가중치는 플로우 신뢰도에서 유도됩니다.
• 자세 추정과 3D 재구성 간에 신경 시(scene) 표현 가중치를 공유하여 동시 최적화를 가능하게 합니다.
• 재렌더링 손실을 유일한 감독 신호로 사용하여 실제 비디오에서 완전히 자기지도 학습이 가능하도록 합니다.
• 테스트 시간 미세조정을 적용하여 자세 드리프트를 줄이고 기하학적 세부 정보를 향상시킵니다. 이는 진짜 지도 없이도 가능합니다.
• 플로우 신뢰도 가중치를 통합하여 가림, 반사성 표면, 또는 동적인 물체에서 유래한 신뢰할 수 없는 대응관계를 낮추어 신뢰성을 향상시킵니다.

실험 결과

연구 질문

• RQ1 비디오와 가시화 가능한 렌더링 외에 다른 진짜 카메라 자세 정보 없이도 3D 렌디언스 필드를 훈련시킬 수 있는가?
• RQ2 픽셀 정렬된 3D 시(scene) 플로우를 사용하여 미분 가능하고 엔드 투 엔드 방식으로 정확하고 강력한 카메라 궤적을 추정할 수 있는가?
• RQ3 단일 프로퍼그레이션에서 3D 시(scene) 재구성과 카메라 자세 추정을 동시에 수행하며, 분포 외 시퀀스에 대해 강력한 일반화 성능을 달성할 수 있는가?
• RQ4 동적인 콘텐츠와 왜곡이 있는 실제 환경 비디오에서 제안된 방법의 성능은 어떠한가?
• RQ5 미세조정 없이 또는 사전 계산된 SfM 자세 없이도 신규 시점 합성과 자세 추정에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• CO3D 하이드런 데이터셋에서 전체 FlowCam 모델은 PSNR 21.02 dB와 LPIPS 0.38을 기록하며, 플로우 가중치나 직접 자세 예측이 없는 실험 대비 우수한 성능을 보입니다.
• 워킹 투어스 및 Ego4D 데이터셋에서, 20~1.5시간의 테스트 시간 미세조정 후 각각 ATE 0.013과 0.026을 달성합니다.
• ORB-SLAM3가 실패하는 시퀀스에 대해 제로샷 일반화가 가능하며, 회전이 많고 특징이 적은 궤적에 대해 강력한 내성성을 입증합니다.
• 플로우 신뢰도 가중치는 신뢰할 수 없는 플로우 대응관계를 효과적으로 낮춰, 가림과 동적인 물체에 대한 강건성을 향상시킵니다.
• 7시간의 테스트 시간 최적화 후, FlowCam는 최소한의 드리프트를 유지하며 시각적으로 매력적인 새로운 시점 합성을 생성합니다.
• 절단 실험을 통해 플로우 기반 자세 설정 방식이 필수적임을 확인하였으며, 직접 CNN 기반 자세 예측이나 가중치 없는 프로크루스테스 피팅은 열악한 기하학적 구조를 유도합니다.