[논문 리뷰] Visual and Object Geo-localization: A Comprehensive Survey

Daniel J. Wilson, Xiaohan Zhang외 2명|arXiv (Cornell University)|2021. 12. 30.

Advanced Image and Video Retrieval Techniques인용 수 8

한 줄 요약

이 종합적 서베이는 딥러닝 및 크로스뷰 접근법을 활용한 시각적 지오로컬라이제이션, 즉 이미지 및 객체 수준의 지오로컬라이제이션을 포함하여 시각적 지오로컬라이제이션에 대한 상세한 분석을 제공한다. 최신 기술을 평가하고 공개 데이터셋에서의 벤치마크를 수행하며, 정확도와 내성 강도를 향상시키는 데 있어 크로스뷰 및 트랜스포머 기반 모델의 중요성이 점점 커지고 있음을 강조한다.

ABSTRACT

The concept of geo-localization refers to the process of determining where on earth some `entity' is located, typically using Global Positioning System (GPS) coordinates. The entity of interest may be an image, sequence of images, a video, satellite image, or even objects visible within the image. As massive datasets of GPS tagged media have rapidly become available due to smartphones and the internet, and deep learning has risen to enhance the performance capabilities of machine learning models, the fields of visual and object geo-localization have emerged due to its significant impact on a wide range of applications such as augmented reality, robotics, self-driving vehicles, road maintenance, and 3D reconstruction. This paper provides a comprehensive survey of geo-localization involving images, which involves either determining from where an image has been captured (Image geo-localization) or geo-locating objects within an image (Object geo-localization). We will provide an in-depth study, including a summary of popular algorithms, a description of proposed datasets, and an analysis of performance results to illustrate the current state of each field.

연구 동기 및 목표

• 이미지 및 객체 수준의 로컬라이제이션을 포함하여 시각적 지오로컬라이제이션에 대한 종합적이고 최신의 서베이를 제공하기 위해.
• 특히 크로스뷰 및 트랜스포머 기반 방법을 중심으로 지오로컬라이제이션에서의 딥러닝 기반 접근법의 진화와 현재 상태를 분석하기 위해.
• 단일뷰, 크로스뷰, 객체 지오로컬라이제이션 하위 분야 간의 기존 알고리즘, 데이터셋, 평가 지표를 체계적으로 비교하기 위해.
• 수작업 특징 추출에 의존하거나 GAN의 불안정성과 같은 현재 방법의 핵심 과제와 한계를 규명하기 위해.
• 자기지도 학습 및 실제 데이터 변동에 대한 내성 강도 등 탐색이 부족한 분야를 강조하여 향후 연구를 이끌기 위해.

제안 방법

• 시각적 지오로컬라이제이션을 세 가지 주요 하위 분야로 분류: 단일뷰, 크로스뷰, 객체 지오로컬라이제이션.
• 특징 학습을 위한 시아모이 네트워크, 랜드마크 연결성을 위한 그래프 기반 모델, 합성 이미지 생성을 위한 GANs를 포함한 핵심 기법을 검토.
• 객체 지오로컬라이제이션을 위한 트래커 기반, 재식별 기반, 삼각측량 기반 방법을 분석하며, 각각의 강점과 한계를 강조.
• 상위-k 정확도, 평균 평균 정밀도(mAP), 특정 거리에서의 재현율 등 표준 평가 지표를 사용하여 성능을 평가.
• UBER-NET, Mapillary, GPS-RetinaNet 등의 공개 데이터셋 간 비교를 통해 데이터 수집 및 평가 프로토콜의 차이점을 부각.
• 비전 트랜스포머와 자기지도 학습이 특징 표현 및 일반화 능력을 향상시키는 데 기여하는 현대적 아키텍처의 역할을 강조.

실험 결과

연구 질문

• RQ1 단일뷰, 크로스뷰, 객체 지오로컬라이제이션 접근법 간 핵심 차이점과 상호 간의 상충 관계는 무엇인가?
• RQ2 특히 시아모이 네트워크와 GANs를 포함한 딥러닝 기반 방법은 전통적인 수작업 특징 추출 방법에 비해 지오로컬라이제이션에서 어떻게 향상되는가?
• RQ3 트래커 기반, 재식별 기반, 삼각측량 기반 방법의 객체 지오로컬라이제이션에서의 성능 특성과 한계는 무엇인가?
• RQ4 평가 지표와 데이터셋 설계는 지오로컬라이제이션 연구에서 보고된 성능에 어떻게 영향을 미치는가?
• RQ5 자기지도 학습 및 비전 트랜스포머와 같은 미래의 방향성 중, 분야 발전에 가장 큰 잠재력을 지닌 것은 무엇인가?

주요 결과

• 지면 뷰 쿼리를 위성 기준 이미지와 매칭하는 크로스뷰 지오로컬라이제이션 방법은 UBER-NET 데이터셋에서 mAP 값이 0.92를 초과하여 최신 기술 성능을 기록한다.
• GPS-RetinaNet과 같은 트래커 기반 객체 지오로컬라이제이션 방법은 UBER-NET 데이터셋에서 상위-10 정확도 5.81미터를 달성하여 객체 수준의 로컬라이제이션에서 높은 정밀도를 보여준다.
• 재식별 기반 접근법인 GeoGraph와 Mapillary TLG는 각각 mAP 점수 0.924와 0.882를 기록하여 동일 객체의 다수 이미지가 가용할 경우 뛰어난 성능을 보인다.
• 삼각측량 기반 방법인 MRF는 교통 신호등의 경우 높은 정밀도(95번째 백분위수 오차 1.89m)를 달성하지만, 정확한 카메라 파rameter가 필요하고 깊이 추정 오차에 민감하다.
• GAN을 활용한 생성 모델은 학습을 위한 현실적인 지면 뷰 이미지를 합성하는 데 잠재력을 보이며, 다만 학습 불안정성과 모드 붕괴 문제를 겪는다.
• 비전 트랜스포머와 자기지도 학습은 향상된 특징 학습을 가능하게 하는 핵심 요소로 부상하고 있으며, 향후 지오로컬라이제이션 시스템에서 컨볼루션 네트워크를 능가할 잠재력을 지닌다.