[논문 리뷰] Local Supports Global: Deep Camera Relocalization with Sequence Enhancement

Fei Xue, Xin Wang외 4명|arXiv (Cornell University)|2019. 08. 06.

Robotics and Sensor-Based Localization참고 문헌 34인용 수 10

한 줄 요약

이 논문은 순차적 이미지 데이터를 활용하여 시각 옵티컬 플로우(VO)를 통한 국소 운동 일관성과 반복 가시성(co-visibility)을 통한 콘텐츠 증강 특징 표현을 통합함으로써 자세 추정 정확도를 향상시키는 딥러닝 프레임워크를 제안한다. 이 방법은 7-Scenes와 옥스포드 로봇카 데이터셋에서 기존 최고 수준의 접근 방식을 초월하며, 특히 무늬 반복, 저조도, 과도한 조도 등의 어려운 조건에서도 성능을 발휘한다. VO에서 유도된 운동 제약 조건을 활용한 자세 그래프를 통한 공동 최적화를 통해 전역 자세를 개선한다.

ABSTRACT

We propose to leverage the local information in image sequences to support global camera relocalization. In contrast to previous methods that regress global poses from single images, we exploit the spatial-temporal consistency in sequential images to alleviate uncertainty due to visual ambiguities by incorporating a visual odometry (VO) component. Specifically, we introduce two effective steps called content-augmented pose estimation and motion-based refinement. The content-augmentation step focuses on alleviating the uncertainty of pose estimation by augmenting the observation based on the co-visibility in local maps built by the VO stream. Besides, the motion-based refinement is formulated as a pose graph, where the camera poses are further optimized by adopting relative poses provided by the VO component as additional motion constraints. Thus, the global consistency can be guaranteed. Experiments on the public indoor 7-Scenes and outdoor Oxford RobotCar benchmark datasets demonstrate that benefited from local information inherent in the sequence, our approach outperforms state-of-the-art methods, especially in some challenging cases, e.g., insufficient texture, highly repetitive textures, similar appearances, and over-exposure.

연구 동기 및 목표

• 반복 무늬나 저조도와 같은 시각적 모호성으로 인해 단일 이미지 기반 카메라 재로컬라이제이션의 불안정성과 모호성을 해결하기 위해.
• 이미지 시퀀스의 시공간 일관성을 활용하여 전역 자세 추정을 향상시키기 위해.
• 시각 옵티컬 플로우(VO)를 운동 제약 조건의 소스로 활용하여 자세 그래프 최적화를 향상시키기 위해.
• 과도한 조도, 동적 물체, 유사한 외관 등 어려운 시나리오에서의 자세 추정 오차를 줄이기 위해.
• 순차적 이미지에서 재로컬라이제이션과 VO를 함께 학습함으로써 엔드 투 엔드 학습 및 추론을 가능하게 하기 위해.

제안 방법

• 순차적 이미지 특징 간의 상대 자세를 추정하기 위해 컨volutional LSTM 기반의 VO 하위 네트워크를 사용한다.
• 반복 단위의 은닉 상태를 국소 지도로 활용하여 이전 시각 콘텐츠를 유지함으로써 반복 가시성 기반의 특징 증강을 수행한다.
• 부드러운 어텐션을 적용하여 국소 지도의 공통 가시 영역을 활용해 원시 특징을 증강함으로써 전역 자세 회귀를 위한 특징 표현을 향상시킨다.
• 전역 자세를 노드로, VO에서 유도된 상대 자세를 간선으로 하는 자세 그래프를 구성하여 학습 및 추론 중 일관성 최적화를 가능하게 한다.
• 자세 추정기와 VO 스트림을 공동으로 엔드 투 엔드로 학습하며, 그래프 기반 최적화를 통해 개선을 수행한다.
• 자세 회귀 이전에 특징 품질을 향상시키기 위한 콘텐츠 증강 모듈을 사용하고, 시간적 일관성을 확보하기 위해 자세 그래프 기반의 운동 기반 정밀 조정을 수행한다.

실험 결과

연구 질문

• RQ1 이미지 시퀀스의 국소 시공간 일관성이 단일 이미지 기반 카메라 재로컬라이제이션의 강건성을 향상시키는가?
• RQ2 시각 옵티컬 플로우(VO)를 운동 제약 조건으로 통합함으로써 시각적 모호성이 높은 환경에서 전역 자세 추정이 어떻게 향상되는가?
• RQ3 국소 지도에서 유도된 반복 가시성 기반의 특징 증강이 자세 예측의 불확실성을 어느 정도 감소시키는가?
• RQ4 과도한 조도와 반복 무늬 등의 어려운 실세계 시나리오에서 제안된 방법은 기존 최고 수준의 방법과 어떻게 비교되는가?
• RQ5 통합된 엔드 투 엔드 프레임워크는 재로컬라이제이션과 시각 옵티컬 플로우를 공동 최적화하여 더 나은 일반화 성능을 달성할 수 있는가?

주요 결과

• 옥스포드 로봇카 데이터셋에서 제안된 방법은 평균 이동 오차 25.84m와 회전 오차 4.99°를 기록하였으며, PoseNet(77.85m, 22.56°)과 MapNet(29.83m, 8.68°)을 모두 능가한다.
• FULL1 및 FULL2 시퀀스(9.5km 및 11.2km)에서 방법은 오차 증가를 낮게 유지하는 반면, MapNet의 오차는 시나리오 크기가 커지면서 급격히 증가한다.
• 특히 유사한 외관이 있는 영역에서 장시간 시퀀스에서의 이상치 수를 PoseNet과 MapNet보다 크게 감소시킨다.
• 자세 그래프 정밀 조정 단계는 과도한 조도나 동적 물체가 있는 어려운 조건에서 안정성과 정확도를 향상시킨다.
• 특징 시각화 결과, 모델은 PoseNet과 MapNet보다 특히 모호한 영역에서 더 구분력 있는 어텐션 맵을 학습하는 것으로 나타났다.
• 저조도, 반복 패턴, 조도 변화 등의 시각적 모호성을 다루는 데서 우수한 강건성을 보이며, 이와 같은 시나리오에서 이전 접근 방식을 능가한다.