[논문 리뷰] NetVLAD: CNN architecture for weakly supervised place recognition

Relja Arandjelović, Petr Gronát외 3명|arXiv (Cornell University)|2015. 11. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 126인용 수 1,598

한 줄 요약

이 논문은 약한 지도 학습을 위한 시각적 장소 인식을 위해 일반화된 VLAD 풀링 레이어를 갖춘 학습 가능한 CNN 아키텍처인 NetVLAD을 제안한다. Google Street View Time Machine 데이터를 사용하여 엔드 투 엔드로 훈련된 새로운 랭킹 손실을 통해 NetVLAD는 장소 인식 및 이미지 검색 벤치마크에서 최신 기술을 상회하는 성능을 달성하며, 특히 차원 수가 감소한 경우에 뚜렷한 우월성을 보인다 (예: 128D NetVLAD는 512D 맥스 풀링 수준의 성능를 달성한다).

ABSTRACT

We tackle the problem of large scale visual place recognition, where the task is to quickly and accurately recognize the location of a given query photograph. We present the following three principal contributions. First, we develop a convolutional neural network (CNN) architecture that is trainable in an end-to-end manner directly for the place recognition task. The main component of this architecture, NetVLAD, is a new generalized VLAD layer, inspired by the "Vector of Locally Aggregated Descriptors" image representation commonly used in image retrieval. The layer is readily pluggable into any CNN architecture and amenable to training via backpropagation. Second, we develop a training procedure, based on a new weakly supervised ranking loss, to learn parameters of the architecture in an end-to-end manner from images depicting the same places over time downloaded from Google Street View Time Machine. Finally, we show that the proposed architecture significantly outperforms non-learnt image representations and off-the-shelf CNN descriptors on two challenging place recognition benchmarks, and improves over current state-of-the-art compact image representations on standard image retrieval benchmarks.

연구 동기 및 목표

• 오프 더 샹스 특징에 의존하지 않고, 시각적 장소 인식을 위해 특별히 훈련된 CNN 아키텍처를 개발하는 것.
• 시간 경과에 따른 스트리트 뷰 이미지에서의 약한 지도 학습을 통해 네트워크의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 시야각, 조명, 계절 변화에 걸쳐 잘 일반화되는 컴팩트하고 효율적인 기술적 특징을 생성하는 것.
• 대규모 장소 인식 및 표준 이미지 검색 벤치마크에서 성능 향상을 이루는 것.

제안 방법

• 중간 수준의 컨벌루션 특징(예: conv5)을 컴팩트한 기술적 특징으로 집계하는 학습 가능한 일반화된 VLAD 레이어인 NetVLAD를 도입한다.
• Google Street View Time Machine를 통해 동일한 장소에서 다른 시간에 촬영된 풍경 사진 쌍을 기반으로 약한 지도 학습 랭킹 손실을 사용한다.
• 효율적인 색인 및 검색을 위해 NetVLAD 출력을 압축하기 위해 주성분 분석(PCA)과 화이트닝을 적용한다.
• NetVLAD 레이어를 포함한 전체 아키텍처를 통해 역전파가 가능하도록 네트워크를 엔드 투 엔드로 훈련한다.
• 긍정 쌍(동일한 장소)은 유사한 임베딩을 가지도록 하고, 부정 쌍은 다를 수 있도록 유도하는 대비 손실 형식을 사용한다.
• 일반화 성능 향상과 특정 장면에 대한 과적합 방지를 위해 데이터 증강 및 샘플링 전략을 활용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드로 장소 인식을 위해 훈련된 CNN 아키텍처가 오프 더 샹스 CNN 특징을 능가할 수 있는가?
• RQ2 시간 경과에 따른 스트리트 뷰 이미지에서의 약한 지도 학습이 장소 인식 모델의 효과적인 훈련을 가능하게 하는가?
• RQ3 학습 가능한 풀링 레이어인 NetVLAD가 표준 풀링(예: 맥스, 평균)보다 시각적 장소 인식에서 성능 향상을 이룰 수 있는가?
• RQ4 기존 방법과 비교해 NetVLAD의 성능는 기술적 특징 차원 수에 따라 어떻게 스케일링되는가?
• RQ5 제안된 방법은 장소 인식을 넘어서 표준 이미지 검색 벤치마크로도 일반화 가능한가?

주요 결과

• fV LAD를 사용할 때 NetVLAD는 페티스30k 검증 세트에서 80.5%의 Recall@1 성능을 달성하여 오프 더 샹스 AlexNet(33.5%)를 크게 능가하며, 높은 차원에서조차 맥스 풀링을 초월한다.
• 128-D NetVLAD는 24/7 도쿄 벤치마크에서 42.9%의 Recall@1 성능을 기록하여 512-D 맥스 풀링과 동일한 성능를 달성하지만, 크기가 네 배 더 작다.
• NetVLAD + 화이트닝을 사용할 경우 128D로 감소된 상태에서도 24/7 도쿄 데이터셋에서 60%의 Recall@1 성능을 기록하여 동일한 차원에서 맥스 풀링을 능가한다.
• 표준 이미지 검색 벤치마크에서 256-D NetVLAD 표현은 옥스포드5k에서 mAP 63.5%, 파리6k에서 73.5%, Holidays에서 79.9%를 기록하여 컴팩트 기술적 특징의 최신 기술을 수립한다.
• Time Machine 데이터 없이 훈련할 경우 페티스30k에서 Recall@1 성능이 38.7%로 떨어지며, 이는 약한 지도 학습을 위한 시간적 데이터의 핵심적 역할을 입증한다.
• 정성적 분석 결과 NetVLAD는 건물 외관이나 스카이라인과 같은 구분 가능한 시cene 요소에 초점을 맞추는 반면, 사람이나 차량과 같은 비구분 요소는 억제하는 것을 학습하는 것으로 나타났다.