[논문 리뷰] ROSEFusion: Random Optimization for Online Dense Reconstruction under Fast Camera Motion

Jiazhao Zhang, Chenyang Zhu외 2명|arXiv (Cornell University)|2021. 05. 12.

Advanced Vision and Imaging참고 문헌 48인용 수 217

한 줄 요약

ROSEFusion은 가속 카메라 움직임 하에서 pre-sampled particle swarm template와 depth-based fitness function을 사용하는 입자 필터 최적화를 통해 inertial 데이터 없이 실시간 밀도 RGB-D 재구성을 달성한다.

ABSTRACT

Online reconstruction based on RGB-D sequences has thus far been restrained to relatively slow camera motions (<1m/s). Under very fast camera motion (e.g., 3m/s), the reconstruction can easily crumble even for the state-of-the-art methods. Fast motion brings two challenges to depth fusion: 1) the high nonlinearity of camera pose optimization due to large inter-frame rotations and 2) the lack of reliably trackable features due to motion blur. We propose to tackle the difficulties of fast-motion camera tracking in the absence of inertial measurements using random optimization, in particular, the Particle Filter Optimization (PFO). To surmount the computation-intensive particle sampling and update in standard PFO, we propose to accelerate the randomized search via updating a particle swarm template (PST). PST is a set of particles pre-sampled uniformly within the unit sphere in the 6D space of camera pose. Through moving and rescaling the pre-sampled PST guided by swarm intelligence, our method is able to drive tens of thousands of particles to locate and cover a good local optimum extremely fast and robustly. The particles, representing candidate poses, are evaluated with a fitness function defined based on depth-model conformance. Therefore, our method, being depth-only and correspondence-free, mitigates the motion blur impediment as ToF-based depths are often resilient to motion blur. Thanks to the efficient template-based particle set evolution and the effective fitness function, our method attains good quality pose tracking under fast camera motion (up to 4m/s) in a realtime framerate without including loop closure or global pose optimization. Through extensive evaluations on public datasets of RGB-D sequences, especially on a newly proposed benchmark of fast camera motion, we demonstrate the significant advantage of our method over the state of the arts.

연구 동기 및 목표

• 관성 측정 없이 빠른 카메라 모션 하에서 온라인 밀도 RGB-D 재구성 해결.
• 큰 프레임 간 회전 및 모션 블러를 처리하는 강 Robust depth-only 카메라 트래킹 방법 제안.
• 표준 입자 샘플링을 대체하기 위한 빠른 템플릿 기반 무작위 최적화 소개.
• 후보 포즈를 평가하기 위한 깊이-TSDF 적합 함수 제공.
• 새로운 빠른 모션 RGB-D 벤치마크를 제공하고 최첨단 방법과의 경쟁력 있는 성능을 입증.

제안 방법

• 프레임-대-모델 가능도에 의한 깊이-TSDF 적합성으로 프레임 단위 포즈 최적화를 형식화.
• PFO(Particle Filter Optimization)을 포즈에 도입하고 사전 샘플링된 Particle Swarm Template(PST)을 사용.
• PST를 좋은 로컬 옵티마를 포착하기 위해 6D 타원체 템플릿을 이동 및 크기 조정하며 후보를 깊이 기반 적합 함수로 평가.
• 적합도를 부정합된 깊이 포인트의 TSDF 값의 합에 대한 음의 지수로 정의하여 대응 관계 없는 최적화를 가능하게 한다.
• 빠른 모션으로 프레임 겹침이 줄어들 때 비중이 겹치지 않는 영역까지 과도하게 정합되는 것을 피하기 위해 중첩 인식 가능도(overlap-aware likelihood) 사용.
• 빠른 모션으로 프레임 겹침이 줄어들 때 비중이 겹치지 않는 영역까지 과도하게 정합되는 것을 피하기 위해 중첩 인식 가능도(overlap-aware likelihood) 사용.
• 6D 포아송 디스크 샘플링을 통해 PST 사전 샘플링을 적용하고 프레임마다 이전 최적 포즈 주변에서 PST를 초기화하여 탐색을 유지.

실험 결과

연구 질문

• RQ1 온라인 밀도 RGB-D 재구성은 IMU 데이터 없이도 매우 빠른 카메라 모션에 강건할 수 있는가?
• RQ2 깊이 기반 융합에서 프레임 단위 포즈 추정을 위해 무작위 최적화를 어떻게 빠르고 신뢰성 있게 만들 수 있는가?
• RQ3 사전 샘플링된 파티클 스웜 템플릿이 포즈 최적화에서 탐색-활용의 균형을 개선하는가?
• RQ4 깊이 기반 TSDF 적합성이 모션 블러 하에서 정확한 포즈 추적에 충분한가?
• RQ5 제안된 방법은 기존 방법과 비교하여 빠른 모션 RGB-D 벤치마크에서 어떤 성능을 보이는가?

주요 결과

• 루프 클로저나 글로벌 최적화 없이 실시간 30 Hz에서 프레임 간 길이가 4 m/s까지 빠른 카메라 모션에서도 좋은 품질의 포즈 추적을 달성한다.
• 깊이 정보를 RGB 특징 대신 의존해 모션 블러에 대한 강건성을 시연한다.
• FastCaMo를 포함한 빠른 모션 RGB-D 벤치마크에서 최첨단 방법을 능가한다.
• 전통적인 경사 기반 최적화가 아닌 PST-진화 무작위 탐색에 기반한 깊이-만 온라인 밀도 재구성 시스템을 제공한다.
• Ground-truth 궤적과 재구성을 가진 빠른 카메라 모션 RGB-D 시퀀스의 데이터셋 벤치마크를 제공한다.