[논문 리뷰] Data-Efficient Large Scale Place Recognition With Graded Similarity Supervision

Maria Leyva-Vallina, Nicola Strisciuglio외 1명|arXiv (Cornell University)|2021. 03. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 59인용 수 12

한 줄 요약

이 논문은 시각적 장소 인식에서 사전 학습된 사일런스 CNN을 훈련하기 위해 이산적이고 단순화된 유사도 레이블이 아닌 연속적이고 단계적인 유사도 레이블을 사용하는 일반화된 대비 손실(GCL) 함수를 제안한다. GPS, 자세 및 3D 재구성 기반으로 MSLS, TB-Places 및 7Scenes 데이터셋을 재라벨링하여 연속적 유사도 점수를 부여한 결과, GCL로 훈련된 모델이 이진 유사도 기반 모델과 NetVLAD, Patch-NetVLAD과 같은 최신 기법들을 능가하며, MSLS에서 상위 5위 재현율 76.2%를 기록하고 복잡한 하드 네거티브 마이닝이 필요 없음을 입증하였다.

ABSTRACT

Visual place recognition (VPR) is a fundamental task of computer vision for visual localization. Existing methods are trained using image pairs that either depict the same place or not. Such a binary indication does not consider continuous relations of similarity between images of the same place taken from different positions, determined by the continuous nature of camera pose. The binary similarity induces a noisy supervision signal into the training of VPR methods, which stall in local minima and require expensive hard mining algorithms to guarantee convergence. Motivated by the fact that two images of the same place only partially share visual cues due to camera pose differences, we deploy an automatic re-annotation strategy to re-label VPR datasets. We compute graded similarity labels for image pairs based on available localization metadata. Furthermore, we propose a new Generalized Contrastive Loss (GCL) that uses graded similarity labels for training contrastive networks. We demonstrate that the use of the new labels and GCL allow to dispense from hard-pair mining, and to train image descriptors that perform better in VPR by nearest neighbor search, obtaining superior or comparable results than methods that require expensive hard-pair mining and re-ranking techniques.

연구 동기 및 목표

• 이미지 간 부분적 또는 연속적인 유사도를 반영하지 못하는 이진 유사도 레이블링의 한계를 해결하기 위해.
• 더 나은 임bedding 공간 학습을 위해 연속적 유사도 점수를 활용하는 일반화된 대비 손실 함수를 개발하기 위해.
• 기하학적 및 3D 재구성 데이터를 활용해 기존 데이터셋(MSLS, TB-Places, 7Scenes)을 자동으로 등급화된 유사도 레이블로 재라벨링하기 위해.
• 복잡한 마이닝 전략 없이도 다양한 벤치마크에서 잘 일반화되는 사일런스 CNN을 GCL로 훈련하기 위해.
• 연속적 감독과 GCL이 이진 대비 학습보다 성능 향상과 더 효율적인 훈련을 이끌 수 있음을 입증하기 위해.

제안 방법

• 이미지 유사도의 정도에 비례해 임bedding 거리를 처벌하는 일반화된 대비 손실(GCL) 함수를 제안하며, 이는 유사도를 이진적으로 취급하지 않고 연속적인 척도로 다룬다.
• 세 가지 자동 레이블링 전략 개발: 약한 2D 시야각 겹침(GPS 및 나침반 사용), 강한 2D 시야각 겹침(6DOF 자세 사용), 3D 시야각 겹침(3D 재구성 사용).
• 완전 컨볼루션 기반 백본과 GeM 또는 평균 풀링을 사용해 글로벌 임bedding을 생성하는 사일런스 네트워크를 GCL 함수로 훈련한다.
• 학습된 기술자 성능 향상과 일반화 능력 향상을 위해 PCA 화이트닝 및 차원 축소를 적용한다.
• 하드 네거티브 마이닝을 피하기 위해 간단한 배치 균형 전략(양성 및 음성 쌍의 수를 동일하게)을 사용해 모델을 훈련한다.
• 평가를 위해 MSLS, Pittsburgh30k, Tokyo24/7, RobotCar Seasons v2, Extended CMU Seasons 데이터셋에 모델을 배포한다.

실험 결과

연구 질문

• RQ1 이진 감독 대비 연속적 유사도 감독이 사일런스 네트워크의 시각적 장소 인식 성능을 향상시키는가?
• RQ2 제안된 일반화된 대비 손실(GCL) 함수가 하드 네거티브 마이닝 없이 다양한 데이터셋에 대해 더 잘 일반화되는가?
• RQ3 대규모 데이터셋에서 이미지 쌍 간의 등급화된 유사도를 추정하는 기하학 기반 자동 방법의 효과는 어떠한가?
• RQ4 PCA 화이트닝이 학습된 이미지 임bedding의 성능과 일반화 능력 향상에 얼마나 기여하는가?
• RQ5 GCL 기반 모델이 NetVLAD 및 Patch-NetVLAD과 같은 최신 기법보다 상위 5위 재현율과 훈련 효율성 측면에서 뛰어나게 성능을 내는가?

주요 결과

• ResNeXt-GeM-GCL 모델은 MSLS 검증 세트에서 상위 5위 재현율 76.2%를 기록했으며, NetVLAD(58.8%), NetVLAD-SARE(44.3%), AP-GeM(44.5%), Patch-NetVLAD(57.6%)를 모두 능가했다.
• GCL 기반 모델은 MSLS, TB-Places 및 7Scenes에서 이진 대비 손실 모델 대비 최대 18% 높은 상위 5위 재현율을 달성했다.
• MSLS에서 GCL로 훈련할 경우 단 1 에포크로 충분했고, NetVLAD-16와 NetVLAD-64는 각각 22 및 7 에포크가 필요했으며, 이로 인해 훈련 시간이 크게 단축되었다.
• PCA 화이트닝은 Tokyo24/7에서 최대 28.2% 향상, MSLS 검증 세트에서는 최대 12.8% 향상되었으며, 기술자 차원을 128 또는 256로 줄여도 효과가 유지되었다.
• ResNeXt-GeM-GCL 모델은 256 차원에서 우수한 성능 유지를 보였고, VGG16-GeM-GCL는 256 차원에서 최고의 상위 5위 재현율을 기록했다.
• Pittsburgh30k, Tokyo24/7, RobotCar Seasons v2 및 Extended CMU Seasons에서도 우수한 일반화 성능를 보이며, 시야각, 조도 및 계절 변화에 대한 강건성을 입증했다.