[논문 리뷰] GeoCapsNet: Aerial to Ground view Image Geo-localization using Capsule Network

Bin Sun, Chen Chen외 2명|arXiv (Cornell University)|2019. 04. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 2인용 수 7

한 줄 요약

GeoCapsNet는 계층적 특징 인코딩과 온라인 배치 하드 마이닝을 통한 가중 소프트 마진 트리플릿 손실을 활용하여 지면 시점 이미지와 GPS 태그가 부여된 항공 사진 간의 크로스뷰 이미지 지오로컬라이제이션을 위한 캡슐 네트워크 기반 접근법을 제안한다. 이는 두 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법들에 비해 검색 정확도에서 뚜렷한 우월성을 보였다.

ABSTRACT

The task of cross-view image geo-localization aims to determine the geo-location (GPS coordinates) of a query ground-view image by matching it with the GPS-tagged aerial (satellite) images in a reference dataset. Due to the dramatic changes of viewpoint, matching the cross-view images is challenging. In this paper, we propose the GeoCapsNet based on the capsule network for ground-to-aerial image geo-localization. The network first extracts features from both ground-view and aerial images via standard convolution layers and the capsule layers further encode the features to model the spatial feature hierarchies and enhance the representation power. Moreover, we introduce a simple and effective weighted soft-margin triplet loss with online batch hard sample mining, which can greatly improve image retrieval accuracy. Experimental results show that our GeoCapsNet significantly outperforms the state-of-the-art approaches on two benchmark datasets.

연구 동기 및 목표

• 지면 시점 이미지와 항공 사진 간에 심한 시점 차이가 존재하는 크로스뷰 이미지 지오로컬라이제이션 문제를 해결한다.
• 기존의 전통적인 CNN이 지오로컬라이제이션을 위한 공간 계층 구조 및 시점 불변성 모델링에 한계를 가진다는 점을 극복한다.
• 캡슐 네트워크가 공간 관계를 인코딩할 수 있는 능력을 활용하여 크로스뷰 이미지 매칭을 위한 특징 표현 학습을 향상시킨다.
• 온라인 배치 하드 샘플 마이닝을 통한 새로운 손실 함수를 통해 모델의 일반화 능력과 검색 정확도를 향상시킨다.
• 대규모 지오로컬라이제이션 응용에 적합한 컴act하고 효율적인 모델을 개발한다.

제안 방법

• 지면 시점 및 항공 사진 양측에서 초기 특징을 추출하기 위해 표준 합성곱 레이어를 사용한다.
• 계층적 공간 관계를 인코딩하고 특징 표현의 강건성을 향상시키기 위해 캡슐 레이어(PrimaryCaps 및 GeoCaps)를 활용한다.
• 온라인 배치 하드 샘플 마이닝을 통한 가중 소프트 마진 트리플릿 손실을 도입하여 특징 임bedding 공간을 최적화한다.
• 각 훈련 배치 내에서 가장 어려운 양성 및 음성 쌍을 선택하여 배치 하드 마이닝을 적용함으로써 마진 학습을 향상시킨다.
• 일치하는(매칭된) 및 일치하지 않는(매칭되지 않은) 크로스뷰 이미지 쌍을 사용하여 엔드 투 엔드 네트워크를 훈련시켜 내부 클래스 간 거리의 최소화와 외부 클래스 간 거리의 최대화를 목표로 한다.
• 양측 브랜치의 캡슐 레이어에서 공유 가중치 기법을 활용하여 크로스뷰 관계에 대한 일관된 학습을 유도한다.

실험 결과

연구 질문

• RQ1 표준 CNN에 비해 캡슐 네트워크가 크로스뷰 이미지 지오로컬라이제이션을 위한 특징 표현 향상에 기여하는가?
• RQ2 온라인 배치 하드 샘플 마이닝은 지오로컬라이제이션 모델의 일반화 능력과 검색 정확도 향상에 얼마나 효과적인가?
• RQ3 캡슐 네트워크의 계층적 공간 인코딩 능력이 시점 불변 이미지 매칭에 더 나은 성능을 이끌어내는가?
• RQ4 제안된 가중 소프트 마진 트리플릿 손실은 기존의 표준 트리플릿 또는 시아미즈 손실에 비해 크로스뷰 매칭에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 캡슐 기반 아키텍처는 기존 모델들에 비해 더 적은 파라미터 수와 더 짧은 특징 코드 길이로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CVUSA 데이터셋에서 GeoCapsNet-II는 Top-1% 재현율 정확도 98.07%를 기록하여 이전의 SOTA 방법인 CVM-Net(1% Top-1에서 34.56%)을 크게 앞서며 성능을 뛰어나게 하였다.
• 동일한 데이터셋에서 GeoCapsNet-II는 CVM-Net 대비 Top-1 재현율을 20.53%p 향상시켜 뚜렷한 성능 향상을 입증하였다.
• 제거 실험 결과 캡슐 레이어를 완전히 연결된 레이어로 대체할 경우 Top-1% 재현율이 20.14%p 감소하여 캡슐 레이어가 특징의 구분 능력을 크게 향상시킨다는 점을 확인하였다.
• 배치 하드 샘플 마이닝은 성능 향상에 기여하였으며, 표준 가중 소프트 마진 트리플릿 손실 대비 Top-1% 재현율을 12.2%p 향상시켰다.
• GeoCapsNet-I와 GeoCapsNet-II의 파라미터 수는 각각 64.9M 및 82.8M로, CVM-Net(160.3M)의 절반 수준이었으며, 더 컴act한 모델을 구현하였다.
• GeoCapsNet의 특징 코드 길이는 2048이며, CVM-Net의 4096에 비해 절반 수준이어서 실질적인 이미지 검색 속도와 효율성을 향상시켰다.