[논문 리뷰] Generalized Contrastive Optimization of Siamese Networks for Place Recognition

Luz María, Nicola Strisciuglio외 1명|arXiv (Cornell University)|2021. 03. 11.

Advanced Image and Video Retrieval Techniques인용 수 14

한 줄 요약

이 논문은 시각적 장소 인식에서 사안형 네트워크를 위한 일반화된 대비 손실(GCL)을 제안하며, 이는 이진 레이블 대신 연속적인 유사도 점수를 사용한다. MSLS, TB-Places 및 7Scenes에서 자동으로 레이블링된 이미지 쌍을 사용하여 훈련된 모델는 NetVLAD 및 Patch-NetVLAD과 같은 최신 기법들보다 여러 벤치마크에서 뛰어난 정확도와 일반화 성능을 달성하며, 복잡한 쌍 마이닝 기법이 필요로 하지 않는다.

ABSTRACT

Visual place recognition is a challenging task in computer vision and a key component of camera-based localization and navigation systems. Recently, Convolutional Neural Networks (CNNs) achieved high results and good generalization capabilities. They are usually trained using pairs or triplets of images labeled as either similar or dissimilar, in a binary fashion. In practice, the similarity between two images is not binary, but continuous. Furthermore, training these CNNs is computationally complex and involves costly pair and triplet mining strategies. We propose a Generalized Contrastive loss (GCL) function that relies on image similarity as a continuous measure, and use it to train a siamese CNN. Furthermore, we present three techniques for automatic annotation of image pairs with labels indicating their degree of similarity, and deploy them to re-annotate the MSLS, TB-Places, and 7Scenes datasets. We demonstrate that siamese CNNs trained using the GCL function and the improved annotations consistently outperform their binary counterparts. Our models trained on MSLS outperform the state-of-the-art methods, including NetVLAD, NetVLAD-SARE, AP-GeM and Patch-NetVLAD, and generalize well on the Pittsburgh30k, Tokyo 24/7, RobotCar Seasons v2 and Extended CMU Seasons datasets. Furthermore, training a siamese network using the GCL function does not require complex pair mining. We release the source code at https://github.com/marialeyvallina/generalized_contrastive_loss.

연구 동기 및 목표

• 시각적 장소 인식을 위한 사안형 네트워크 훈련에서 이진 유사도 레이블링의 한계를 해결하기 위해.
• 비용이 많이 드는 쌍 및 트리플릿 마이닝 전략이 필요로 하지 않도록 계산 복잡도를 줄이기 위해.
• 다양한 장소 인식 벤치마크에서 모델의 일반화 능력과 성능을 향상시키기 위해.
• 연속적인 유사도 점수로 이미지 쌍을 자동으로 레이블링하는 기법을 개발하기 위해.
• 보다 단순하고 효율적인 훈련 철학을 통해 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 이진 레이블 대신 연속적인 유사도 값 사용을 위한 일반화된 대비 손실(GCL) 함수를 제안한다.
• MSLS, TB-Places 및 7Scenes 데이터셋에서 이미지 쌍에 대한 연속적인 유사도 레이블을 생성하기 위한 세 가지 자동화된 방법을 설계한다.
• 재레이블링된 데이터셋을 사용하여 GCL 손실로 사안형 CNN을 훈련시켜 특징 학습을 향상시킨다.
• 훈련 중 연속적인 감독을 활용함으로써 복잡한 쌍 마이닝이 필요로 하지 않도록 한다.
• 검색 작업에서 임bedding 비교를 통해 학습된 사안형 네트워크를 장소 인식에 활용한다.
• 재현성과 향후 연구를 지원하기 위해 코드와 훈련된 모델을 공개한다.

실험 결과

연구 질문

• RQ1 이진 감독 대비 연속적인 유사도 감독이 사안형 네트워크의 시각적 장소 인식 성능 향상에 기여하는가?
• RQ2 실세계 데이터셋에서 연속적인 유사도 레이블을 생성하기 위한 자동화된 방법의 효과는 어떠한가?
• RQ3 GCL로 훈련하면 고비용의 쌍 마이닝이 필요 없어지며 정확도는 유지 또는 향상되는가?
• RQ4 제안된 방법은 Pittsburgh30k, Tokyo24/7 및 RobotCar Seasons v2와 같은 다양한 벤치마크에서 잘 일반화되는가?
• RQ5 GCL 기반의 사안형 네트워크는 NetVLAD 및 Patch-NetVLAD과 같은 최신 기법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• GCL로 훈련된 사안형 네트워크는 MSLS, Pittsburgh30k, Tokyo24/7 및 RobotCar Seasons v2를 포함한 모든 평가된 벤치마크에서 이진 감독 대비 상위 성능을 달성한다.
• MSLS 데이터셋에서 모델는 NetVLAD, NetVLAD-SARE, AP-GeM 및 Patch-NetVLAD를 모두 뛰어넘는 최신 기술 수준의 성능을 기록한다.
• 모델는 새로운 환경으로의 일반화 능력이 뛰어나 다양한 조건과 환경에서 강력한 제로샷 일반화 성능을 보여준다.
• 제안된 자동 레이블링 기법은 훈련을 위한 고품질의 연속적인 유사도 레이블을 성공적으로 생성한다.
• GCL로 훈련하면 복잡한 쌍 마이닝이 필요로 하지 않아 훈련 복잡도가 크게 감소한다.
• 공개된 코드와 모델는 재현성과 장소 인식 연구의 향후 발전을 가능하게 한다.