[논문 리뷰] VidLoc: A Deep Spatio-Temporal Model for 6-DoF Video-Clip Relocalization

Ronald Clark, Sen Wang외 3명|arXiv (Cornell University)|2017. 02. 21.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 31

한 줄 요약

이 논문은 짧은 영상 클립(20 프레임)을 활용하여 시간적 연속성을 고려함으로써 단일 이미지 기반 기준보다 6-DoF 단일 카메라 재현지정 정확도를 향상시키는 깊이 있는 시공간 순환 모델인 VidLoc을 제안한다. 순차적 프레임을 함께 모델링함으로써, 단일 이미지 기반 기준 대비 국소화 오차를 크게 감소시켰으며, 도전적인 실세계 데이터셋에서 50% 이상의 예측에서 20미터 이내의 오차를 달성하였다.

ABSTRACT

Machine learning techniques, namely convolutional neural networks (CNN) and regression forests, have recently shown great promise in performing 6-DoF localization of monocular images. However, in most cases image-sequences, rather only single images, are readily available. To this extent, none of the proposed learning-based approaches exploit the valuable constraint of temporal smoothness, often leading to situations where the per-frame error is larger than the camera motion. In this paper we propose a recurrent model for performing 6-DoF localization of video-clips. We find that, even by considering only short sequences (20 frames), the pose estimates are smoothed and the localization error can be drastically reduced. Finally, we consider means of obtaining probabilistic pose estimates from our model. We evaluate our method on openly-available real-world autonomous driving and indoor localization datasets.

연구 동기 및 목표

• 단일 카메라 6-DoF 재현지정에서 발생하는 인지적 유사성 문제와 노이즈가 많은 단일 이미지 자세 추정 문제를 해결한다.
• 영상 시퀀스의 시간적 일관성을 활용하여 단일 프레임 기반 방법을 초월해 국소화 정확도를 향상시킨다.
• 지도 매칭, 모델 기반 국소화, 시간 필터링을 하나의 종단간 엔드포인트 프레임워크로 통합하는 통합 모델을 개발한다.
• 도시 도로 및 실내 환경와 같은 동적인 변화와 모호한 외관을 가진 실세계 환경에서도 강력한 글로벌 재현지정을 가능하게 한다.

제안 방법

• 20 프레임 등 짧은 영상 클립을 처리하여 6-DoF 카메라 자세를 회귀하는 순환 신경망(RNN) 아키텍처를 제안한다.
• 장기적인 시간적 의존성을 포착하고 예측된 자세 시퀀스의 부드러움을 보장하기 위해 양방향 RNN을 사용한다.
• 스테레오 시각 올로메트리에서 유도된 진짜 자세와 포즈 그래프 SLAM을 통한 GPS/INS 융합을 통해 종단간으로 모델을 훈련시킨다.
• 프레임 간 노이즈를 감소시키고 외관 변화로 인한 오류 대응 관계를 억제하기 위해 시간적 정규화를 통합한다.
• RNN 출력의 불확실성을 모델링하여 신뢰도 기반 국소화를 가능하게 하는 확률적 자세 추정을 통합한다.
• 시퀀스 길이에 따라 적응하는 훈련 전략을 사용하여 다양한 클립 길이(10~100 프레임)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 짧은 영상 클립의 시간적 연속성은 단일 이미지 기반 기준 대비 6-DoF 국소화 오차를 크게 감소시키는가?
• RQ2 입력 영상 클립의 길이가 재현지정 시스템의 정확도와 견고성에 어떤 영향을 미치는가?
• RQ3 깊이 있는 순환 모델이 종단간 엔드포인트 아키텍처에서 지도 매칭, 모델 기반 국소화, 시간 필터링을 효과적으로 통합할 수 있는가?
• RQ4 실세계 환경에서 동적인 요소와 모호한 외관이 존재할 경우, 제안된 방법이 인지적 유사성 문제를 어느 정도 완화하는가?
• RQ5 모델은 도전적인 국소화 상황에서 불확실성을 반영하는 신뢰할 수 있는 확률적 자세 추정을 생성할 수 있는가?

주요 결과

• 제안된 VidLoc 모델은 Posenet과 같은 단일 이미지 기반 기준 대비 국소화 오차를 크게 감소시켰으며, 100프레임 시퀀스를 사용할 경우 50% 이상의 예측에서 진짜 자세와 20미터 이내로 유지되었다.
• 100프레임 시퀀스에서, 모델은 위치와 자세 양 측면에서 진짜 자세 경로를 밀도 있게 따라가는 정확하고 부드러운 6-DoF 자세 추정을 달성하였다.
• 모델은 인지적 유사성 문제를 효과적으로 완화하였다: 차량과 조명 변화가 빈번한 도로와 같은 고도로 시각적 모호성이 있는 장면에서도 시간적 맥락 덕분에 정확한 국소화가 가능했다.
• 오차 분포 분석 결과, Posenet는 15% 이상의 경우에서 200미터 이상의 큰 오차를 기록했으나, VidLoc는 시간적 스무딩을 통해 이러한 이상치를 감소시켰다.
• 시퀀스 길이를 늘릴수록 성능 향상이 있었으며, 50-100프레임 시퀀스는 Google Maps에서 진짜 자세와 일관된 정렬을 보이며 외관 변화에 대한 견고성을 입증했다.
• 이 방법은 운동 일관성 있는 궤적의 종단간 학습을 가능하게 하였으며, 모델이 시간적 모델링을 통해 운동의 형태를 암묵적으로 학습하고 있음을 보여주었다.