[논문 리뷰] Google Landmarks Dataset v2 -- A Large-Scale Benchmark for Instance-Level Recognition and Retrieval

Tobias Weyand, André Araujo외 2명|arXiv (Cornell University)|2020. 04. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 61인용 수 28

한 줄 요약

이 논문은 500만 개 이상의 이미지와 20만 개의 고유한 랜드마크 인스턴스를 포함하는 대규모 벤치마크인 Google Landmarks Dataset v2(GLDv2)를 소개한다. 이는 실제 조건에서 인스턴스 수준의 인식과 이미지 검색을 도전적으로 평가하기 위해 설계되었으며, 극단적인 장꼬리(class) 분포, 99%의 도메인 외 테스트 쿼리, 높은 클래스 내 변동성을 특징으로 하여, 독립된 데이터셋에서의 강건한 평가 및 전이 학습 성능을 가능하게 한다.

ABSTRACT

While image retrieval and instance recognition techniques are progressing rapidly, there is a need for challenging datasets to accurately measure their performance -- while posing novel challenges that are relevant for practical applications. We introduce the Google Landmarks Dataset v2 (GLDv2), a new benchmark for large-scale, fine-grained instance recognition and image retrieval in the domain of human-made and natural landmarks. GLDv2 is the largest such dataset to date by a large margin, including over 5M images and 200k distinct instance labels. Its test set consists of 118k images with ground truth annotations for both the retrieval and recognition tasks. The ground truth construction involved over 800 hours of human annotator work. Our new dataset has several challenging properties inspired by real world applications that previous datasets did not consider: An extremely long-tailed class distribution, a large fraction of out-of-domain test photos and large intra-class variability. The dataset is sourced from Wikimedia Commons, the world's largest crowdsourced collection of landmark photos. We provide baseline results for both recognition and retrieval tasks based on state-of-the-art methods as well as competitive results from a public challenge. We further demonstrate the suitability of the dataset for transfer learning by showing that image embeddings trained on it achieve competitive retrieval performance on independent datasets. The dataset images, ground-truth and metric scoring code are available at https://github.com/cvdfoundation/google-landmark.

연구 동기 및 목표

• 실세계 환경에서 인스턴스 수준의 인식과 이미지 검색을 위한 대규모이고 현실적인 벤치마크의 부족을 해결하기 위해.
• 극도의 클래스 불균형, 도메인 외 쿼리, 높은 클래스 내 변동성과 같은 실용적 과제를 시뮬레이션하기 위해.
• Wikimedia Commons에서 수집된 확장 가능하고 다양한 데이터셋을 제공하여 강건한 모델 평가 및 전이 학습을 지원하기 위해.
• 대규모이고 세밀한 인식 및 검색 작업을 위한 새로운 표준 벤치마크를 수립하기 위해.
• 비랜드마크 쿼리에서의 잘못된 양성률(false-positive rate) 평가를 가능하게 하여, 이는 이전 데이터셋에서 다루지 못한 핵심 도전 과제이다.

제안 방법

• 모든 데이터셋은 Wikimedia Commons에서 수집되었으며, 인덱스 및 쿼리 세트 모두에 CC0 또는 파블릭 도메인 라이선스를 가진 이미지만을 사용하여 개인정보 유출 및 메타데이터 泄露를 방지했다.
• 랜드마크 레이블은 전문가의 인간 레이블링을 통해 정교하게 수집되었으며, 고품질의 지상 진실을 확보하기 위해 총 800시간 이상의 레이블링 노력이 투입되었다.
• 학습 세트에는 인스턴스 수준의 레이블이 부여된 400만 장의 이미지가 포함되어 있으며, 검색용 인덱스 세트에는 762,000장의 이미지가 포함되어 있다.
• 테스트 세트는 118,000장의 쿼리 이미지를 포함하고 있으며, 이 중 1.1%인 1,300장만이 도메인 내 랜드마크이며, 나머지 98.9%는 도메인 외 쿼리로, 실제 시각 검색 환경을 시뮬레이션한다.
• GLDv2에서 학습한 이미지 임베딩은 독립된 데이터셋에서 평가되어 전이 학습 능력을 입증하였다.
• 모든 이미지에서 메타데이터(예: 지오태그, URL)가 제거되어 데이터 泄露를 방지하였으며, 전체 근거 정보는 학습 세트에 한해 공개되었다.

실험 결과

연구 질문

• RQ1 극도의 장꼬리 분포를 가진 클래스 분포에서 모델의 인스턴스 수준 인식 및 검색 성능는 어떻게 저하되는가?
• RQ2 실제 시각 검색 응용 프로그램에서 흔한 도메인 외 쿼리에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ3 GLDv2에서 학습한 이미지 임베딩은 관련 없는 독립된 검색 벤치마크에서 경쟁적인 성능을 달성할 수 있는가?
• RQ4 시야각, 조명, 날씨, 이미지 도메인 이동(예: 사진, 회화, 역사적 인쇄물) 등의 요인으로 인한 높은 클래스 내 변동성에 대해 모델은 얼마나 강건한가?
• RQ5 GLDv2는 데이터가 적은 환경에서의 후행 인스턴스 인식 작업을 위한 효과적인 사전 학습 데이터셋으로 기능할 수 있는가?

주요 결과

• GLDv2는 총 20만 개의 고유한 랜드마크 인스턴스를 포함해, 지금까지 가장 큰 인스턴스 수준의 인식 및 검색 벤치마크이다.
• 테스트 세트에는 118,000개의 쿼리가 포함되어 있으며, 이 중 1.1%(1,300개)만이 도메인 내 랜드마크이며, 나머지 98.9%는 도메인 외 쿼리로, 현실적인 99%의 도메인 외 쿼리 비율을 시뮬레이션한다.
• 지상 진실을 확보하기 위해 총 800시간 이상의 인간 레이블링 노력이 투입되어, 인식 및 검색 작업 모두에 높은 품질의 레이블을 확보하였다.
• GLDv2에서 학습한 이미지 임베딩은 독립된 데이터셋에서 경쟁적인 검색 성능를 달성하여 강력한 전이 학습 잠재력을 입증하였다.
• 디지털 사진, 아날로그 인쇄물, 회화, 건축도면 등 다양한 이미지 유형을 포함하여 도메인 불변성의 도전을 증가시켰다.
• 최첨단 기법을 사용한 베이스라인 결과가 보고되었으며, 공개된 Kaggle 챌린지에서 데이터셋의 벤치마크 유용성을 검증하였다.