[논문 리뷰] Full-Frame Scene Coordinate Regression for Image-Based Localization

Xiaotian Li, Juha Ylioinas외 1명|arXiv (Cornell University)|2018. 02. 09.

Robotics and Sensor-Based Localization참고 문헌 6인용 수 3

한 줄 요약

이 논문은 이미지 기반 국소화의 강건성과 효율성을 향상시키기 위해 전체 프레임 영역의 장면 좌표 회귀를 위한 완전 컨volution형 인코더-디코더 네트워크를 제안한다. 전역적 맥락과 2D/3D 데이터 증강을 활용하여 반복적인 구조를 가진 도전적인 프레임에서 최신 기술 수준의 성능을 달성하며, 패치 기반 방법에 비해 정확도와 속도 면에서 뛰어나다.

ABSTRACT

Image-based localization, or camera relocalization, is a fundamental problem in computer vision and robotics, and it refers to estimating camera pose from an image. Recent state-of-the-art approaches use learning based methods, such as Random Forests (RFs) and Convolutional Neural Networks (CNNs), to regress for each pixel in the image its corresponding position in the scene's world coordinate frame, and solve the final pose via a RANSAC-based optimization scheme using the predicted correspondences. In this paper, instead of in a patch-based manner, we propose to perform the scene coordinate regression in a full-frame manner to make the computation efficient at test time and, more importantly, to add more global context to the regression process to improve the robustness. To do so, we adopt a fully convolutional encoder-decoder neural network architecture which accepts a whole image as input and produces scene coordinate predictions for all pixels in the image. However, using more global context is prone to overfitting. To alleviate this issue, we propose to use data augmentation to generate more data for training. In addition to the data augmentation in 2D image space, we also augment the data in 3D space. We evaluate our approach on the publicly available 7-Scenes dataset, and experiments show that it has better scene coordinate predictions and achieves state-of-the-art results in localization with improved robustness on the hardest frames (e.g., frames with repeated structures).

연구 동기 및 목표

• 반복적인 구조를 가진 복잡한 환경을 다룰 때 패치 기반 장면 좌표 회귀의 한계를 해결한다.
• 전체 이미지 입력 방식을 통해 전역적 맥락을 통합함으로써 좌표 예측에 강건성을 향상시킨다.
• 패치 기반 처리에 비해 효율적인 전체 프레임 네트워크 평가를 통해 추론 시간을 단축시킨다.
• 새로운 2D 및 3D 데이터 증강 전략을 통해 전역적 맥락 학습에서의 과적합을 완화한다.
• 특히 도전적인 영상에서 7-Scenes 벤치마크에서 최신 기술 수준의 국소화 정확도를 달성한다.

제안 방법

• 전체 RGB 이미지를 입력으로 받아 각 픽셀에 대해 조밀한 3D 장면 좌표를 출력하는 완전 컨volution형 인코더-디코더 신경망을 사용한다.
• 이중 단계 파이프라인을 사용한다: 먼저 제안된 Coordinate CNN를 통해 전체 프레임 장면 좌표를 예측하고, 그 다음에 예측된 대응점들에 대해 RANSAC을 사용해 카메라 자세를 추정한다.
• 모델의 정규화와 과적합 방지를 위해 2D 이미지 공간(예: 색상 왜곡, 자르기)과 3D 공간(예: 무작위 장면 회전 및 이동)에서 데이터 증강을 적용한다.
• 모든 픽셀에 대해 예측된 3D 좌표와 진짜값 간의 L2 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 통합 훈련 및 평가를 통해 좌표 예측 정확도와 후속 국소화 성능를 동시에 최적화한다.
• 전체 프레임 네트워크의 넓은 수신장치를 활용하여 장면 레이아웃과 맥락을 더 잘 포착함으로써, 무문자성 또는 대칭적인 장면에서 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 전역적 맥락을 통합한 전체 프레임 장면 좌표 회귀는 패치 기반 방법에 비해 국소화 강건성 향상에 기여하는가?
• RQ2 2D 및 3D 데이터 증강을 병행하여 전체 프레임 좌표 회귀 네트워크 훈련 시 과적합을 얼마나 효과적으로 완화하는가?
• RQ3 제안된 방법은 반복적인 구조나 낮은 무늬를 가진 가장 도전적인 영상에서 더 나은 성능을 내는가?
• RQ4 패치 기반 추론에 비해 전체 프레임 아키텍처는 얼마나 더 빠른 추론 시간을 제공하는가?
• RQ5 전역적 맥락을 가진 완전 컨볼루션 네트워크가 더 정확한 중간 단계 좌표 예측을 생성하여 최종 국소화 정확도 향상에 기여하는가?

주요 결과

• 제안된 전체 프레임 Coordinate CNN는 90.3%의 인라이어 비율(패치 기반 기준 59.4%인 DSAC 대비)을 달성하며 평균 오차는 28mm로, 패치 기반 기준선보다 뚜렷이 뛰어나다.
• 7-Scenes 데이터셋에서의 국소화 성능 평가 결과, 이 방법은 모든 기준선보다 더 낮은 오차 임계값에서 더 빨리 누적 히스토ограм 100%를 달성하며, 특히 Stairs 시나리오에서 두각을 나타낸다.
• 가장 도전적인 영상에서, 이 방법은 최대 0.41m 이내의 이동 오차와 13° 이내의 회전 오차를 기록했으며, DSAC 및 [25]는 종종 2–5m 이상의 오차와 180° 이상의 오차를 기록한다.
• 전체 프레임 네트워크는 패치 기반 방법 대비 10배 이상 빠른 추론 속도(0.02초 대비 0.3초, GTX 1080 기준)를 보이며, 모델 크기 또한 약 120MB로, 회귀 숲 기반 모델(약 250MB)보다 작다.
• 데이터 증강 없이 훈련한 전체 프레임 네트워크는 일반화에 실패함을 입증하며, 2D 및 3D 증강 전략이 강건한 좌표 예측 훈련에 필수적임을 보여준다.
• 이 방법은 패치 기반 및 키포인트 기반 방법을 모두 능가하는 최신 기술 수준의 국소화 성능을 달성하였으며, 특히 반복적인 구조를 가진 도전적인 시나리오에서 두각을 나타낸다.