[논문 리뷰] Multiple-environment Self-adaptive Network for Aerial-view Geo-localization

Tingyu Wang, Zhedong Zheng외 4명|arXiv (Cornell University)|2022. 04. 18.

Advanced Image and Video Retrieval Techniques인용 수 7

한 줄 요약

이 논문은 기상 및 조명 변화로 인한 도메인 이탈을 동적으로 보완하는 다중 환경 자가적응 네트워크인 MuSe-Net을 제안한다. Residual SPADE를 사용한 자가적응 특징 추출기와 스타일 추출 브랜치를 갖춘 이중 브랜치 아키텍처를 통해, University-1652 및 CVUSA 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 예측 불가능한 극한 기상 조건으로의 일반화 능력도 뛰어나다.

ABSTRACT

Aerial-view geo-localization tends to determine an unknown position through matching the drone-view image with the geo-tagged satellite-view image. This task is mostly regarded as an image retrieval problem. The key underpinning this task is to design a series of deep neural networks to learn discriminative image descriptors. However, existing methods meet large performance drops under realistic weather, such as rain and fog, since they do not take the domain shift between the training data and multiple test environments into consideration. To minor this domain gap, we propose a Multiple-environment Self-adaptive Network (MuSe-Net) to dynamically adjust the domain shift caused by environmental changing. In particular, MuSe-Net employs a two-branch neural network containing one multiple-environment style extraction network and one self-adaptive feature extraction network. As the name implies, the multiple-environment style extraction network is to extract the environment-related style information, while the self-adaptive feature extraction network utilizes an adaptive modulation module to dynamically minimize the environment-related style gap. Extensive experiments on two widely-used benchmarks, i.e., University-1652 and CVUSA, demonstrate that the proposed MuSe-Net achieves a competitive result for geo-localization in multiple environments. Furthermore, we observe that the proposed method also shows great potential to the unseen extreme weather, such as mixing the fog, rain and snow.

연구 동기 및 목표

• 비, dense 안개, 눈과 같은 실제 환경 변화로 인해 기존 지오로컬라이제이션 모델의 성능 저하 문제를 해결한다.
• 드론에서 위성으로의 이미지 검색 과정에서 기상 및 조명 변화로 인한 도메인 이탈 문제를 해결한다.
• 추론 시 명시적 도메인 레이블이 필요 없이 환경 간섭을 필터링하는 자가적응 메커니즘을 개발한다.
• 환경 스타일 표현을 분리하여 학습시킴으로써, 훈련 중에 볼 수 없었던 극한 기상 조건에서도 강건한 지오로컬라이제이션을 가능하게 한다.
• 도메인 불변 특징 학습에 의존하지 않고, 인간 시각 인지 구조를 영감으로 삼아 다양한 환경 간 일반화 능력을 향상시킨다.

제안 방법

• 다중 환경 스타일 추출 브랜치와 자가적응 특징 추출 브랜치를 갖춘 이중 네트워크 아키텍처를 제안한다.
• 환경 스타일 임bedding 기반으로 특징 맵을 동적으로 조정하는 Residual SPADE 모듈을 사용하여 도메인 이탈 보정을 자동화한다.
• 메트릭 학습 및 분류 손실을 사용해 엔드 투 엔드로 네트워크를 훈련시켜, 다중 시점 검색 성능을 최적화한다.
• 데이터 증강 기법을 통해 안개, 비, 눈 등의 다양한 환경 조건을 합성하여 수동 수집 없이도 훈련 데이터 다양성을 높인다.
• 스타일과 콘텐츠 특징을 효과적으로 균형 잡기 위해, 특정 병목 레이어(S1-B2 및 S1-B3)에 Residual SPADE를 통합한다.
• 생성 기법을 활용해 실제 환경 스타일을 반영한 훈련 데이터 증강을 수행하여, 예측 불가능한 조건에 대한 내구성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 항공 지오로컬라이제이션 과정에서 안개, 비, 눈과 같은 예측 불가능한 환경 조건에 대해 동적으로 적응할 수 있는가?
• RQ2 제안된 자가적응 특징 학습 메커니즘이 환경 변화로 인한 도메인 이탈을 얼마나 효과적으로 줄이는가?
• RQ3 콘텐츠 특징에서 환경 스타일을 분리함으로써 다양한 기상 조건 간 일반화 능력이 향상되는가?
• RQ4 최적의 성능을 얻기 위해 적응형 모듈(예: Residual SPADE)을 네트워크 내에서 어디에 배치해야 하는가?
• RQ5 모델은 훈련 중에 볼 수 없었던 극한 기상 조건으로도 일반화 가능한가? 기존 도메인 일반화 방법과 비교해 봤을 때 어떤가?

주요 결과

• MuSe-Net은 University-1652 데이터셋에서 다중 환경 조건 하에 평균 정밀도(mAP) 72.45%를 기록하여 기존 기준 모델을 능가한다.
• CVUSA 데이터셋에서도 경쟁력 있는 성능를 보이며, 다양한 다중 시점 지오로컬라이제이션 벤치마크 간 이식성(transferability)을 입증한다.
• 제거 실험 결과, 스테이지 1의 두 번째 및 세 번째 병목층(S1-B2, B3)에 Residual SPADE를 배치할 경우 최고의 성능를 기록하였으며, 평균 mAP는 72.45%였다.
• 혼합 안개, 비, 눈과 같은 예측 불가능한 극한 기상 조건에서도 높은 성능를 유지하여 강력한 일반화 능력을 입증한다.
• IBN-Net 대비 파라미터 수는 4.21% 증가하고, FLOPs는 39.34% 증가하여 계산 오버헤드가 수용 가능한 수준임을 확인하였다.
• 정성적 결과 분석에서, 다양한 환경 조건에서도 모델이 일관되게 관련 지리적 영역을 활성화하며, 10개의 테스트 조건 전부에서 정답이 Top-1에 검색됨을 확인하였다.