[논문 리뷰] 1st Place Solution to Google Landmark Retrieval 2020

SeungKee Jeon|arXiv (Cornell University)|2020. 08. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 5인용 수 6

한 줄 요약

이 논문은 Google Landmark Retrieval 2020 경쟁 대회에서 수상한 솔루션을 제시하며, 두 개의 훈련 데이터셋을 활용한 전이 학습과 메트릭 학습, 더 큰 이미지에서의 미세조정, 고품질 샘플을 위한 손실 가중치, 모델 앙상블 기법을 적용하였다. 이 방법은 사설 리더보드에서 mAP@100 점수 0.38677을 기록하여, 도전적인 실세계 조건에서 미세한 랜드마크 식별 성능이 뛰어나다는 것을 입증하였다.

ABSTRACT

This paper presents the 1st place solution to the Google Landmark Retrieval 2020 Competition on Kaggle. The solution is based on metric learning to classify numerous landmark classes, and uses transfer learning with two train datasets, fine-tuning on bigger images, adjusting loss weight for cleaner samples, and esemble to enhance the model's performance further. Finally, it scored 0.38677 mAP@100 on the private leaderboard.

연구 동기 및 목표

• 다양한 글로벌 이미지에서 시각적으로 유사한 랜드마크를 구분할 수 있는 강력한 랜드마크 검색 시스템을 개발하는 것.
• 대규모 사전 훈련 모델을 활용하여 일반화 능력과 정확도를 향상시켜 미세한 시각적 인식 성능을 개선하는 것.
• 전략적 데이터 커리레이션, 손실 가중치, 앙상블 학습을 통해 모델 성능을 최적화하는 것.
• Google Landmark Retrieval 2020 경쟁 벤치마크에서 최상위 성능을 달성하는 것.

제안 방법

• 동일한 랜드마크의 이미지가 다른 랜드마크의 이미지보다 더 가까워지도록 공통 임베딩 공간에 이미지를 임bedding하는 메트릭 학습을 활용하였다.
• 특징 표현과 모델 일반화 능력을 향상시키기 위해 두 가지 다른 훈련 데이터셋을 사용한 전이 학습을 적용하였다.
• 미세한 시각적 세부 정보를 더 잘 포착하기 위해 고해상도 이미지에서 모델을 미세조정하였다.
• 더 깔끔하고 신뢰도가 높은 훈련 샘플을 우선시하기 위해 적응형 손실 가중치를 적용하여 최적화 과정의 노이즈를 줄였다.
• 다양한 모델을 앙상블 학습을 통해 조합하여 테스트 샘플 전반에서의 강건성과 일반화 능력을 향상시켰다.
• 다양한 아키텍처와 훈련 설정의 장점을 활용하여 추론을 최적화하였다.

실험 결과

연구 질문

• RQ1 매우 불균형하고 미세한 분류 설정에서 메트릭 학습과 전이 학습을 효과적으로 융합하여 랜드마크 검색 성능을 향상시킬 수 있는가?
• RQ2 이미지 해상도와 데이터 품질은 랜드마크 임베딩 모델의 성능에 어떤 영향을 미치는가?
• RQ3 샘플 신뢰도 기반 적응형 손실 가중치가 모델 수렴과 최종 정확도 향상에 기여하는가?
• RQ4 실세계 이미지 변동성이 높은 환경에서 랜드마크 검색 성능 향상에 있어 모델 앙상블의 영향은 어느 정도인가?
• RQ5 데이터 증강, 모델 아키텍처, 훈련 전략의 어떤 조합이 Google Landmark Retrieval 벤치마크에서 최고의 일반화 성능을 낼 수 있는가?

주요 결과

• 모델은 사설 테스트 세트에서 mAP@100 점수 0.38677를 기록하여 대회에서 1등을 차지하였다.
• 더 큰 이미지에서의 미세조정이 미세한 랜드마크 세부 정보 추출에 있어 상당한 성능 향상을 이끌었다.
• 고품질 샘플을 위한 적응형 손실 가중치 적용으로 더 안정적이고 정확한 임베딩 학습이 가능했다.
• 다양한 모델의 앙상블는 다양한 테스트 이미지 전반에서 분산을 줄이고 강건성을 향상시켰다.
• 두 개의 서로 다른 훈련 데이터셋을 사용함으로써 모델 일반화 능력 향상과 과적합 감소 효과를 얻을 수 있었다.
• 대규모 사전 훈련 모델에서의 전이 학습이 후속 랜드마크 검색 작업에 강력한 기반을 제공하였다.