[논문 리뷰] Towards CNN Map Compression for camera relocalisation

Luis Contreras, Walterio Mayol‐Cuevas|arXiv (Cornell University)|2017. 03. 02.

Advanced Vision and Imaging참고 문헌 30인용 수 3

한 줄 요약

이 논문은 카메라 재현위치를 위한 압축 가능한 CNN 기반 지ap 표현을 제안하며, 증가하는 수의 훈련 트랙젝터리로 고정 크기의 소형 CNN(CNN-F)을 훈련시켜 지도 압축을 가능하게 한다. 최소한의 아키텍처임에도 불구하고, PoseNet(0.59m 평균 오차)과 유사한 재현위치 정확도를 달성하며, 모델 크기를 유지하면서 더 많은 훈련 데이터로 성능 향상이 가능하다는 것을 입증한다.

ABSTRACT

This paper presents a study on the use of Convolutional Neural Networks for camera relocalisation and its application to map compression. We follow state of the art visual relocalisation results and evaluate response to different data inputs -- namely, depth, grayscale, RGB, spatial position and combinations of these. We use a CNN map representation and introduce the notion of CNN map compression by using a smaller CNN architecture. We evaluate our proposal in a series of publicly available datasets. This formulation allows us to improve relocalisation accuracy by increasing the number of training trajectories while maintaining a constant-size CNN.

연구 동기 및 목표

• 효율적인 카메라 재현위치 지도 표현을 위한 압축형 CNN 아키텍처 탐색.
• 다양한 센서 입력(RGB, 깊이, 공간 위치)이 재현위치 정확도에 미치는 영향 조사.
• 모델 크기를 늘리지 않고도 훈련 트랙젝터리 수를 늘여 정확도 향상 여부 평가.
• 새로운 데이터로 재학습하면서 고정된 CNN 아키텍처를 유지함으로써 지도 압축이 가능함을 입증.
• PoseNet(23층)과 비교해 경량 CNN-F(8층)의 성능 평가

제안 방법

• 입력 차원에 따라 조정 가능한 8층의 경량 CNN-F 아키텍처를 사용하며, 이는 5개의 합성곱층과 3개의 완전 연결층으로 구성된다.
• PoseNet 유사 손실 함수를 사용하여 이동에 대한 L2 거리와 방향에 대한 정규화된 쿼터니언 오차를 조합한다.
• RGB, 회색조, 깊이, 3차원 공간 위치 및 그 조합을 입력으로 처리하며, 자르기 및 크기 조정 후 224×224 공간 해상도를 확보한다.
• 7-Scenes 데이터셋에서 새로운 트랙젝터리를 추가하여 동일한 CNN-F 모델을 점진적으로 훈련시키며, 아키텍처는 고정하고 가중치만 업데이트한다.
• 주요 평가 지표로는 메트릭으로서의 평균 재현위치 오차(미터 단위)를 사용하여 공개 데이터셋(TUM, 7-Scenes)에서 성능을 평가한다.
• 입력 모odalities 간 및 PoseNet 기준선과의 비교를 통해 상대적 성능 평가

실험 결과

연구 질문

• RQ1 압축형 CNN(CNN-F)의 성능이 PoseNet과 같은 더 큰 모델에 비해 카메라 재현위치 작업에서 어떻게 비교되는가?
• RQ2 RGB, 깊이, 회색조, 공간 위치 또는 그 조합 중 어느 입력 모달리티가 가장 높은 재현위치 정확도를 제공하는가?
• RQ3 모델 크기를 늘리지 않고도 훈련 트랙젝터리 수를 늘여 재현위치 정확도를 향상시킬 수 있는가?
• RQ4 고정 크기의 CNN이 점진적 재학습을 통해 점점 더 복잡한 지도 정보를 얼마나 잘 표현할 수 있는가?
• RQ5 다양한 입력에서 높은 정확도를 유지하면서 최소한의 CNN 아키텍처를 사용해 지도 압축을 달성할 수 있는가?

주요 결과

• RGB 입력을 사용할 경우 Red Kitchen 시퀀스에서 평균 재현위치 오차 0.589미터를 기록하며, PoseNet에서 보고된 0.59m 오차와 동일하다.
• RGB 입력이 가장 뛰어난 성능을 보이며(0.589m 오차), 깊이(1.326m), 회색조(0.795m), 포인트 클라우드(0.791m) 입력보다 뛰어나다.
• 모델 크기를 유지하면서도 더 많은 훈련 트랙젝터리를 추가할수록 재현위치 오차가 지속적으로 감소하며, 이는 확장성과 압축 가능성의 잠재력을 시사한다.
• 여러 트랙젝터리에 대해 훈련한 후에도 성능에 포화 현상이 나타나지 않아 더 많은 데이터로 추가 향상이 가능함을 시사한다.
• 8층이라는 매우 작은 층 수를 가진 CNN-F 아키텍처가 PoseNet(23층)과 유사한 정확도를 달성함으로써, 성능 손실 없이 모델 크기를 극적으로 줄일 수 있음을 입증한다.
• 가중치 업데이트를 통해 새로운 트랙젝터리에서 정보량이 증가함에도 불구하고 아키텍처는 고정되어 있으므로 지도 표현 크기는 일정하게 유지되며, 이는 효과적인 지도 압축을 가능하게 한다.