[논문 리뷰] Deep Convolutional Neural Network for 6-DOF Image Localization

Daoyuan Jia, Yongchi Su외 1명|arXiv (Cornell University)|2016. 11. 08.

Advanced Neural Network Applications참고 문헌 19인용 수 5

한 줄 요약

이 논문은 3D 포인트 클러스터 모델에서 수십만 개의 합성 및 자기 레이블링된 이미지를 생성하여 엔드 투 엔드 자세 회귀를 위한 딥 컨volution 네트워크(ConvNet)를 제안한다. 이 방법은 합성 데이터와 사전 훈련된 모델을 활용하여 조명 및 계절 변화에 대해 강건성을 확보함으로써 실제 테스트 이미지에서 1.01m 위치 오차와 0.98° 자세 오차를 달성하여 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

We present an accurate and robust method for six degree of freedom image localization. There are two key-points of our method, 1. automatic immense photo synthesis and labeling from point cloud model and, 2. pose estimation with deep convolutional neural networks regression. Our model can directly regresses 6-DOF camera poses from images, accurately describing where and how it was captured. We achieved an accuracy within 1 meters and 1 degree on our out-door dataset, which covers about 2 acres on our school campus.

연구 동기 및 목표

• 딥러닝 기반 이미지 국소화를 위한 대규모이고 정확하게 레이블링된 6-DOF 훈련 데이터의 부족 문제를 해결하기 위해.
• 수작업 특징에 의존하지 않고 이미지에서 직접 6-DOF 카메라 자세를 회귀하는 엔드 투 엔드 딥 ConvNet 파이프라인을 개발하기 위해.
• 일반적으로 특징 디스크립터 기반 방법의 성능을 떨어뜨리는 조명 및 계절 변화에 대한 강건성을 향상시키기 위해.
• 한 장면에서 훈련된 모델을 다른 장면에 최소한의 피팅 조정으로 적용할 수 있도록 전이 학습을 가능하게 하기 위해.
• 3D 재구성에서 유도된 합성 정확한 레이블링된 이미지를 생성함으로써 '정답 딜레마'를 해결하기 위해.

제안 방법

• 렌더링 기술과 쉐이더를 사용하여 3D 포인트 클러스터 모델에서 다양한 조명 및 날씨 조건을 시뮬레이션한 현실적인 6-DOF 레이블링된 '사진' 수십만 장을 생성한다.
• 훈련 가속화 및 수렴 개선을 위해 사전 훈련된 ImageNet 모델(CaffeNet, GoogLeNet, VGG16)을 초기화로 사용한다.
• 네트워크의 최종 완전 연결층을 수정하여 6-DOF 자세(3D 위치 및 3D 회전을 쿼터니언으로 표현)를 출력하고 학습률 증폭을 증가시킨다.
• 일반화 성능 향상을 위해 이미지 반사 및 평균값 제거를 통한 데이터 증강을 적용하지만, 유효하지 않은 대칭 쌍을 피한다.
• GPU 메모리 제약로 인한 배치 누적과 함께 학습률 감소를 적용한 확률적 경사 하강법을 사용하여 네트워크를 훈련한다. 아키텍처별로 조정된 학습률을 사용한다.
• VGG16에 중간 손실 레이어를 도입하여 기울기 흐름을 강화하고 훈련 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 포인트 클러스터에서 유도된 합성 및 자기 레이블링된 이미지는 딥 러닝을 사용한 6-DOF 이미지 국소화의 정확도와 강건성을 뚜렷이 향상시킬 수 있는가?
• RQ2 기존의 특징 매칭 또는 SLAM 기반 방법과 비교해 볼 때, 엔드 투 엔드 딥 ConvNet 회귀의 정확도와 효율성은 어떠한가?
• RQ3 한 장면에서 훈련된 모델이 다른 장면으로 전이될 수 있는 정도는 어느 정도이며, 이는 수렴 속도와 성능에 어떤 영향을 미치는가?
• RQ4 전통적인 특징 디스크립터(SIFT 등)가 실패하는 조명 조건에서, 제안된 방법은 다양한 조명 및 계절 변화 조건에서도 높은 정확도를 유지할 수 있는가?
• RQ5 사전 훈련된 모델과 합성 데이터를 사용함으로써, 실제 이미지가 제한된 상황에서도 과적합을 완화할 수 있는가?

주요 결과

• 제안된 방법은 학교 스타디움 장면의 실제 테스트 이미지(TestsetA)에서 평균 위치 오차 1.01m, 자세 오차 0.98도를 달성하여 PoseNet*보다 자세 정확도에서 10배 이상 뛰어나다.
• 합성 테스트 이미지(TestsetB)에서는 위치 오차 0.93m, 자세 오차 0.42도를 기록하여 예상치 못한 현실적인 이미지 조건에서도 강력한 일반화 성능을 입증하였다.
• 실제 훈련 프레임으로 미세 조정된 GoogLePose† 모델은 TestsetB에서 0.91m 및 0.39도 오차를 기록하여 실재 및 합성 데이터의 조합이 성능 향상에 기여함을 보여주었다.
• 전이 학습 결과, 한 장면에서 사전 훈련된 모델는 새로운 장면에 적용할 경우 더 적은 훈련 에포크 수로 수렴하는 것을 확인하여 훈련 효율성이 향상됨을 입증하였다.
• 합성 과정에서의 데이터 증강 덕분에 조명 및 계절 변화에 강건함을 입증하였으며, 어려운 조명 조건에서 SIFT 기반 방법보다 뛰어난 성능을 보였다.
• 포인트 클러스터에서 유도된 합성 데이터를 통해 GPS나 수작업 레이블링 없이 대규모 정확한 레이블링가 가능해져 '정답 딜레마' 문제를 해결하였다.