[논문 리뷰] DenserNet: Weakly Supervised Visual Localization Using Multi-scale Feature Aggregation

Dongfang Liu, Yiming Cui외 4명|arXiv (Cornell University)|2020. 12. 04.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

DenserNet는 다양한 의미 수준에서의 다중 척도 특징을 통합하여 더 높은 키포인트 특징 밀도를 생성하는 약한 지도 학습 기반의 CNN 아키텍처를 제안한다. 이는 시각적 국소화 정확도를 향상시킨다. 오직 GPS 태그가 부여된 이미지 쌍만을 사용하는 새로운 트리플릿 랭킹 손실을 통해 네 개의 대규모 국소화 및 세 개의 이미지 검색 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 경량 MobileNet 백본을 사용할 경우 유사 모델 대비 4배 빠른 속도를 기록한다.

ABSTRACT

In this work, we introduce a Denser Feature Network (DenserNet) for visual localization. Our work provides three principal contributions. First, we develop a convolutional neural network (CNN) architecture which aggregates feature maps at different semantic levels for image representations. Using denser feature maps, our method can produce more keypoint features and increase image retrieval accuracy. Second, our model is trained end-to-end without pixel-level annotation other than positive and negative GPS-tagged image pairs. We use a weakly supervised triplet ranking loss to learn discriminative features and encourage keypoint feature repeatability for image representation. Finally, our method is computationally efficient as our architecture has shared features and parameters during computation. Our method can perform accurate large-scale localization under challenging conditions while remaining the computational constraint. Extensive experiment results indicate that our method sets a new state-of-the-art on four challenging large-scale localization benchmarks and three image retrieval benchmarks.

연구 동기 및 목표

• 장애물, 조명 변화, 계절 변화와 같은 도전적인 실세계 조건에서 시각적 국소화 정확도를 향상시키기 위해.
• 기존 CNN 기반 방법에서 단일 수준의 특징 추출에 한계가 있음을 해결하기 위해 다중 의미 수준에서 특징을 통합하기 위해.
• 비용이 많이 드는 픽셀 수준의 주석 없이 오직 GPS 태그가 부여된 이미지 쌍만을 사용하여 강건한 시각적 국소화 모델을 훈련하기 위해.
• 강력한 성능 유지와 함께 높은 계산 효율성을 확보하여 경량 백본에의 배포를 가능하게 하기 위해.
• 수정된 트리플릿 랭킹 손실을 사용한 약한 지도 학습을 통해 특징의 반복성과 구별 능력을 향상시키기 위해.

제안 방법

• DenserNet는 CNN 백본(MobileNet 또는 VGG 등)의 저수준, 중수준, 고수준 레이어에서 특징을 추출하고 융합하는 다중 척도 특징 통합 모듈을 사용한다.
• 모델은 NetVLAD나 CRN와 같은 단일 수준 방법보다 더 높은 키포인트 특징 밀도를 생성하기 위해 병렬 특징 추출 브랜치를 활용한다.
• 공유된 특징 표현 전략을 통해 전방향 프로세스 중 브랜치 간 특징 재사용으로 계산 오버헤드를 최소화한다.
• 양성 이미지 쌍의 특징 표현이 음성 쌍보다 더 가까워지도록 유도하는 약한 지도 학습 기반의 트리플릿 랭킹 손실을 사용해 엔드 투 엔드로 모델을 훈련한다.
• 특징 주의 메커니즘을 통합하여 구별 가능한 영역(예: 독특한 건물 디테일)을 강조하고 혼란스러운 신호(예: 보행자, 차량)를 억제한다.
• 경량 백본에 쉽게 적용 가능하여 높은 추론 속도를 확보하면서 정확도 저하를 최소화할 수 있다.

실험 결과

연구 질문

• RQ1 다양한 의미 수준에서의 다중 척도 특징 통합이 도전적인 환경 조건에서 시각적 국소화 정확도를 크게 향상시킬 수 있는가?
• RQ2 오직 GPS 태그가 부여된 이미지 쌍만을 사용하는 약한 지도 학습 접근법이 시각적 국소화에서 완전 지도 학습 방법을 초월할 수 있는가?
• RQ3 제안된 특징 통합 기법은 단일 수준 특징 추출 대비 키포인트 특징 밀도와 매칭의 강건성 측면에서 어떻게 비교되는가?
• RQ4 경량 DenserNet 버전이 최신 기술 수준의 모델보다 현저히 더 빠른 추론 속도를 확보하면서도 높은 정확도를 유지할 수 있는가?
• RQ5 제안된 약한 지도 학습 기반의 트리플릿 손실이 픽셀 수준의 지도 없이도 구별 가능하고 반복 가능한 특징을 학습하는 데 얼마나 효과적인가?

주요 결과

• DenserNet는 픽셀 수준의 주석 없이 오직 GPS 태그가 부여된 이미지 쌍만을 사용하여 네 개의 대규모 시각적 국소화 벤치마크(Pitts30k, Tokyo24/7, Oxford5k, Paris6k)에서 최신 기술 수준 성능을 달성한다.
• Oxford5k 데이터셋(전체 이미지)에서 DenserNet(VGG 기반)는 mAP 89.40%를 기록하여 이전 최고 성능 모델보다 3.71% 높은 성능을 보였다.
• Paris6k 데이터셋(자르기 이미지)에서 DenserNet(MobileNet 기반)는 mAP 87.82%를 기록하여 두 번째로 높은 성능을 낸 모델보다 2.93% 높았다.
• MobileNet 기반 DenserNet 버전은 평균 23ms 내외로 작동하며(VGG 기반 CRN 및 NetVLAD 대비 4배 빠름), 이는 백본, 특징 브랜치, 디코더를 포함한 전체 추론 시간이다.
• 이전 방법들보다 현저히 더 높은 키포인트 특징 밀도를 생성하여 내부 매칭 수를 증가시키고, 장애물 및 조명 변화에 대한 강건성을 향상시켰다.
• 시각화 결과 DenserNet가 혼란스러운 환경 요소 대신 독특한 건축 디테일에 집중하는 것으로 나타나, 향상된 특징 주의와 국소화 관련성의 향상을 입증했다.