[논문 리뷰] SPP-Net: Deep Absolute Pose Regression with Synthetic Views

Pulak Purkait, Cheng Zhao외 1명|arXiv (Cornell University)|2017. 12. 09.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 38

한 줄 요약

SPP-Net는 희박한 특징 기술자와 합성 시각을 활용하여 일반화 성능을 향상시키는 경량 딥 네트워크를 제안한다. 3D 점군과 특징 대응 모델을 사용해 실제 학습 데이터에 합성된 자세를 보강함으로써, 모델 크기를 크게 줄이고 미학습된 자세에 대한 강건성을 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image based localization is one of the important problems in computer vision due to its wide applicability in robotics, augmented reality, and autonomous systems. There is a rich set of methods described in the literature how to geometrically register a 2D image w.r.t.\ a 3D model. Recently, methods based on deep (and convolutional) feedforward networks (CNNs) became popular for pose regression. However, these CNN-based methods are still less accurate than geometry based methods despite being fast and memory efficient. In this work we design a deep neural network architecture based on sparse feature descriptors to estimate the absolute pose of an image. Our choice of using sparse feature descriptors has two major advantages: first, our network is significantly smaller than the CNNs proposed in the literature for this task---thereby making our approach more efficient and scalable. Second---and more importantly---, usage of sparse features allows to augment the training data with synthetic viewpoints, which leads to substantial improvements in the generalization performance to unseen poses. Thus, our proposed method aims to combine the best of the two worlds---feature-based localization and CNN-based pose regression--to achieve state-of-the-art performance in the absolute pose estimation. A detailed analysis of the proposed architecture and a rigorous evaluation on the existing datasets are provided to support our method.

연구 동기 및 목표

• 딥 러닝 기반 자세 회귀에서 학습 데이터와 테스트 데이터 간의 분포 이탈로 인해 모델이 새로운 자세에서 실패하는 도메인 적응 문제를 해결하기 위해.
• 무거운 CNN 기반 특징 추출을 희박한 특징 기술자로 대체함으로써 모델 복잡도를 감소시키고 효율성을 향상시켜 더 작고 빠른 네트워크를 만들기 위해.
• 3D 점군과 노이즈/이상치 모델을 사용해 현실적인 합성 학습 데이터를 생성함으로써, 실제 데이터에 존재하지 않는 자세 영역을 커버함으로써 일반화 성능을 향상시키기 위해.
• 기하학적 특징 기반 방법과 엔드 투 엔드 딥 러닝의 장점을 융합하여, 더 높은 정확도와 강건성을 달성하기 위해.
• 합성 데이터 증강을 통해 경량이지만 사전 훈련되지 않은 딥 네트워크가 PoseNet과 같은 더 큰 사전 훈련된 CNN보다 벤치마크 데이터셋에서 더 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 원본 RGB 이미지 대신 희박한 특징 기술자(SIFT 유사)를 입력으로 사용함으로써 모델 크기를 줄이고 합성 데이터 생성을 효율적으로 구현한다.
• 실제 카메라 자세가 알려진 3D 점군에서 렌더링된 합성 시각을 사용해 합성 학습 데이터를 생성하며, 현실적인 노이즈와 이상치를 추가하여 실제 환경 조건을 모의한다.
• 다중 스케일에서 특징을 집계하기 위해 공간 피라미드 풀링(SPP) 모듈을 도입하여 시점 변화에 대한 강건성을 향상시킨다.
• 네트워크 아키텍처는 공간 피라미드 구성에서 1x1 컨볼루션과 맥스 풀링 레이어로 구성되며, 이는 6자리 자세(3D 이동 및 3D 회전)의 회귀를 위한 완전히 연결된 레이어로 이어진다.
• 기하학적 일관성을 활용하여 사전 훈련 없이도 실제 데이터와 합성 데이터의 조합으로 끝에서 끝까지 미리 훈련된 네트워크를 학습한다.
• 3D 지도와 특징 대응을 사용해 현실적인 합성 특징 세트를 생성함으로써 기존의 합성 데이터 생성 기법을 개선하며, 현실적인 RGB 렌더링이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 3D 점군과 특징 대응을 사용한 합성 데이터 생성이, 새로운 자세에 대한 딥 러닝 기반 자세 회귀의 일반화 성능을 크게 향상시킬 수 있는가?
• RQ2 밀도 있는 CNN 특징 대신 희박한 특징 기술자를 사용하는 것이 더 효율적이고 정확한 자세 회귀 네트워크를 가능하게 하는가?
• RQ3 경량이지만 사전 훈련되지 않은 딥 네트워크가 PoseNet과 같은 더 큰 사전 훈련된 모델보다 절대 자세 추정에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 모델 용량이 변화함에 따라 네트워크 성능은 어떻게 변화하는가? 그리고 제한된 실제 데이터에서 더 큰 아키텍처에서는 과적합 현상이 발생하는가?
• RQ5 합성 데이터 증강이 기하학 기반과 학습 기반 자세 추정 방법 간의 성능 격차를 어느 정도 해소하는가?

주요 결과

• Seven Scenes 데이터셋에서 SPP-Net은 'Heads' 시퀀스에서 평균 위치 오차 0.11 m와 각도 오차 8.06°를 기록했으며, PoseNet의 0.31 m와 27.4°보다 뚜렷이 뛰어나다.
• Cambridge Landmark 데이터셋에서 4× 파rameter 버전을 사용할 경우, 'Street'에서 평균 위치 오차를 33.9 m에서 17.5 m로 감소시키고, 각도 오차를 31.2°에서 20.2°로 줄였다.
• 더 작은 SPP-Net(0.25× 파라미터)는 성능 저하가 미미하여, 용량이 감소했음에도 불구하고 강력한 일반화와 강건성을 보였다.
• 더 큰 SPP-Net(4× 파라미터)는 성능 향상이 거의 없었고, 특히 'Shop Facade'와 같은 작은 데이터셋에서 과적합의 징후를 보였다.
• SPP-Net은 Seven Scenes와 Cambridge Landmark 벤치마크에서 모두 학습 기반 방법 중 최신 기술 수준의 결과를 달성했으며, 정확도와 효율성 면에서 기존의 CNN 기반 접근보다 뛰어났다.
• 노이즈와 이상치를 현실적으로 반영한 합성 데이터 증강은, 실제 학습 데이터에 포함되지 않은 자세 공간 영역에서의 일반화 성능 향상에 크게 기여했다.